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Resumo 



A criacao de musica interativa e uma tarefa que envolve diversos conhecimentos como tecnicas 
de composicao musical, sfntese sonora, analise e processamento de sinal digital e design de 
interface. Nos ultimos anos, diversos projetos vem sendo desenvolvidos e adotados pela comu- 
nidade de compositores interessados em compor musica baseada na interacao homem-maquina. 
Notadamente a linguagem Pure data (Pd), vem sendo amplamente adotada pela flexibilidade de 
extensao de objetos e capacidade de se integrar a outras linguagens e solucoes existentes no 
campo da computacao musical. Pd e uma linguagem grarica orientada ao objeto e escrita com 
a linguagem C. 

Mesmo possibilitando diversas solucoes ao compositor, o Pd exige o estudo formal de sua 
gramatica tal qual qualquer linguagem de programacao. Muitas das solucoes apresentadas pela 
comunidade sao especificas e dificilmente adaptaveis a problemas gerais de composicao. 

Nesta pesquisa investigamos o problema da criacao de uma biblioteca de utilitarios que au- 
xiliam a criacao de musica interativa. A biblioteca foi batizada como SInCoPA, acronimo de 
Sistema Interativo de Composicao, Performance e Analise. A utilizacao de SInCoPA permite 
solucoes hfbridas interligando diversas outras bibliotecas gerais e especificas desenvolvidas pela 
comunidade. O uso de SInCoPA propicia ao compositor uma rapida prototipagem em musica 
interativa e integracao com outros fluxos de trabalho, ao mesmo tempo em que permite um 
estudo mais aprofundado da linguagem e customizacao da propria biblioteca apresentada aqui. 



Abstract 



The creation of interactive music is a task that involves many knowledge and techniques of mu- 
sical composition, sound synthesis, analysis and digital signal processing and interface design. 
In recent years, several projects have been developed and adopted by a community of com- 
posers interested in composing music based in human-machine interaction. Notably language 
Pure Data (Pd), has been widely adopted by the flexibility of extended objects and ability to 
integrate with other languages and existing solutions in the field of computer music. Pd is a 
graphical language object-oriented and written in C language. 

Even allowing for different solutions to the composer, the Pd language requires the formal 
study of its grammar, like any programming language. Many of the solutions presented by the 
community are specific and sometimes hardly adaptable to general problems of composition. 

In this study we investigated the problem of creating a library utilities that assist the creation 
of interactive music. The library was named as SInCoPA, which stands for Sistema Interativo 
de Composigdo, Performance e Andlise 1 . The use of SInCoPA allows interconnecting hybrid 
solutions and various other general and specific libraries developed by the community. The 
use of SInCoPA provides to the composer a rapid prototyping in interactive music and inte- 
gration with other streams of working at the same time allowing further study of language and 
customization of the library itself presented here. 



'interactive System Composition, Performance and Analysis 
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Capitulo 1 



Introdu§ao 



Esta tese apresenta o desenvolvimento de aplicativos e metodos de organizacao de materials 
musicais e sonoros aplicados a composicao de musica interativa. Por musica interativa entende- 
se aqui um tipo de composicao que e feita sob o paradigma da interacao homem-maquina. De 
maneira geral, o objeto da musica interativa e o evento sonoro gerado a partir da performance 
de um musico sobre uma base de programas, materiais armazenados e analise das informacoes 
da performance em tempo-real. 

Um dos resultados dessa pesquisa foi o desenvolvimento de um sistema de funcoes com- 
putacionais capaz de auxiliar a composicao de musica interativa chamado SInCoPA (Sistema 
Interativo de Composicao Performance e Analise), descrito no capitulo 4. SInCoPA e um con- 
junto de aplicativos e ideias que exploram solucoes na busca por um ambiente de composicao 
e performance de musica interativa. SInCoPA e um sistema computacional capaz de extrair 
informacoes diversas sobre a performance e categorizar aspectos da performance musical e in- 
teragir com essa performance. 

Meu objetivo musical e a criacao de uma polifonia densa, onde o musico controla aspectos 
da textura resultante com o proprio gesto sonoro. SInCoPA oferece funcoes que possibilitam a 
criacao musical de texturas polifonicas diversas baseadas na analise do audio da performance 
musical de um instrumentista. Nesse panorama, a polifonia resultante pode variar da completa 
fusao sonora e comportamental ate o extremo contraste de materiais sonoros e musicais. Os 



resultados musicais sao demonstrados no capitulo 5 na descricao da peca "Dialogos em Sln- 
CoPA" e nos videos no DVD em anexo a tese que apresentam experimentacoes sonoras com as 
funcoes de SInCoPA. 

Diversos problemas advem da pratica musical na interacao homem-maquina. Nesse sentido, 
o objeto de pesquisa e o percurso que vai da ideia composicional, calcada no paradigma da 
interacao homem-maquina, passa pela implementacao e posteriormente pela experimentacao, 
performance e analise dos resultados. SInCoPA e construido com a linguagem Pure data (Pd). 
Pd (Puckette 1996) 1 e uma linguagem grafica orientada a objetos desenvolvida para a criacao 
de musica eletronica. Desde o seu lancamento em 1996, o projeto do Pd se manteve com 
codigo aberto e distribuido livremente pela internet, o que agregou uma comunidade de artis- 
tas e desenvolvedores ao redor do projeto. Nos ultimos anos a comunidade tem desenvolvido 
inumeras bibliotecas de objetos especializados em modelos matematicos, modelamentos de in- 
terface grafica, diversas processamento e analise em tempo-real de sinal de audio, video, rede 
e hardware. Os modulos de SInCoPA sao construidos usando objetos "nativos" e "externals", 
conceitos que serao aprofundados no capitulo 3. 

Todas as partes do sistema sao construidas em Pd, no formato de objetos modulares. Os 
objetos criados tem a funcao de agregar diversos outros objetos e organizar o fluxo de dados de 
analise e performance num contexto que possibilite a reutilizacao em diferentes projetos de arte 
interativa. Tambem e apresentada uma composicao como prototipo de uso do sistema. A visao 
geral do SInCoPA e a de uma biblioteca de objetos de Pd e sua documentacao de uso, alem de 
exemplos praticos de projetos utilizando a biblioteca que servem como campo de avaliacao de 
possibilidades e experimentacao sonora. 

O texto e ilustrado com muitas imagens do codigo. Um ideal perseguido foi o de que a 
correta digitacao do codigo das imagens permita a re-criacao de todos experimentos e conceitos 
apresentados em SInCoPA. Muitas figuras ao longo do texto nao sao uma representacao ou 
esquematico das ideias, mas sim a propria implementacao em codigo mostrando os detalhes da 
sintaxe e do estilo de programacao. A funcao das imagens varia da documentacao do codigo 



'Disponivel em: http://puredata.info/ 



desenvolvido a ilustracao de um conceito. Apesar de muitas imagens serem auto-explicativas e 
explicadas no corpo do texto, muitas vezes a apreensao correta do sentido e funcionamento do 
codigo em questao so se da na experiencia do manuseio. 

Foram usadas diversas bibliotecas externas ao Pd, algumas que sao encontradas na distribuicao 
pd-extended 2 , e outras contribuicoes da comunidade de desenvolvedores. 

A criacao de musica interativa e uma tarefa que envolve diversos conhecimentos como tecnicas 
de composicao musical, sintese sonora, analise e processamento de sinal digital e design de 
interface. Nesta pesquisa investiguei o problema do desenvolvimento de uma biblioteca de uti- 
litarios para criacao de musica interativa. Esta biblioteca tem como objetivo fornecer modulos 
que facilitem a prototipacao com analise e processamento de audio de entrada, geracao de 
sintese e controle de algoritmos MIDI. 

Diversos problemas derivam da interseccao entre descricoes simbolicas como nota, acorde, 
motivo e especiricacoes de sintese sonora como modulacao, envelope e formas de onda. Alguns 
problemas sao conceituais e demandam um universo proprio de pesquisa como por exemplo a 
deteccao automatica de comeco e rim de frases melodicas. Outros problemas sao tecnicos e 
preveem uma depuracao na programacao como por exemplo a sincronia entre as mensagens de 
controle de parametros e o processamento de blocos de audio. Neste trabalho procurei separar e 
visualizar cada problema de pesquisa. Sem perder de vista o foco num sistema geral de criacao 
de musica interativa. 

1.1 Composicao e Programacao 

Quando um instrumentista vai interpretar uma composicao escrita em notacao tradicional, ou 
um conjunto de miisicos comecam a improvisar coletivamente, diversos elementos da narrativa 



2 pd-extended e uma distribuigao do Pd com varias bibliotecas externas j a compiladas na maioria dos sistemas 
operacionais existentes. E o principal "fork" do Pd, e possui versao estavel e versao de desenvolvimento. A 
historia de desenvolvimento do Pd pode ser entendida como uma sequencia de Forks levando a diferentes versoes 
e estagios de desenvolvimento locais, como JMax, Max-Ircam, DesireData, etc... Essa pesquisa assume como 
padrao a versao atual do pd-extended com algumas adi^oes de bibliotecas de objetos feitos em Pd e alguns objetos 
codados em C e compilados como objetos de Pd. 
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e das escolhas individuals entram em jogo. Como por exemplo agogica, flutuacoes do tempo 
ou substituicoes harmonicas. A atividade musical pressupoe ambigiiidades de narrativa como 
uma caracteristica intrinseca. Essas ambigiiidades constituem uma parte importante do ritual 
de fazer e escutar musica. Quando se compoe musica com computador, nos deparamos com 
linguagens de programacao que nao aceitam ambigiiidades. 

Pode-se dizer que o fazer composicional de musica interativa esta totalmente conectado com 
a atividade de programacao. No resultado de uma obra musical interativa existe uma relacao 
intrinseca entre ideia, ferramenta e implementacao. Pode-se concluir que alguns problemas 
derivam desse encontro entre um fazer musical "ambiguo" e uma programacao "nao ambigua". 

Esta pesquisa oferece um caminho a ser trilhado no sentido da convivencia entre a composicao 
musical e a programacao de computadores. Para isso e necessario refletir sobre as interfaces 
disponibilizadas aos compositores e como essas interfaces interferem nos processos criativos. 
Nesse sentido algumas breves comparacoes serao feitas entre notacao musical tradicional e as 
linguagens Pd, Max/MSP e Csound. 

A composicao musical com computadores tem uma historia intensa de desenvolvimento 
continuo ao longo das ultimas 5 decadas. Nesse percurso, uma das ferramentas mais impor- 
tantes criadas e o ambiente de programacao Csound 3 . O paradigma composicional no Csound 
pode ser visto como semelhante ao trabalho tradicional do compositor que descreve eventos 
atraves de dois arquivos de texto nomeados de: orquestra e partitura 4 , onde no primeiro sao 
descritas as qualidades fixas do timbre e no segundo os eventos e os parametros dinamicos 
do timbre. A arquitetura de programas como Max e Pd, a primeira vista pode ser vista como 
simples e convidativa pelo fato de possibilitar uma programacao intuitiva e parecer com um 
fluxograma. Mas logo se dao as primeiras dificuldades pelo fato de o paradigma da linguagem 
ser muito calcado na performance em tempo-real causando a dificuldade de organizacao dos 
dados composicionais, como notas, acordes, eventos e mudancas de parametros de sintese. 



3 Csound e um ambiente de programacao sonora de codigo aberto e baseado na linguagem C. Disponivel em: 
www.csounds.com 

4 Livremente traduzidos dos termos originais orchestra e score 



Os musicos tem sua formacao baseada na notacao musical tradicional que estabelece uma ca- 
deia de binomios de parametros de estruturacao sonora (Zampronha 2000) como altura versus 
ataque, duracao versus articulacao ou metrica versus expressao. O sistema da notacao tradi- 
cional tem uma estrutura que possui uma sequencialidade temporal dos eventos implicita. A 
migracao dos musicos para ambientes de composicao e design sonoro como Csound (Boulan- 
ger 2000) tende a ser mais natural pela adaptacao de um tipo de estrutura temporal comum aos 
musicos (notacao musical) para outro (partitura do Csound), e tambem pela oposicao binaria 
entre orquestra e partitura. No Csound, a base de dados e chamada partitura. Em Csound 
partituras consistem na maioria das vezes em "notas", que sao comandos para um sintetizador 
(orquestra). A partitura e essencialmente uma sequencia temporal, enquanto que a orquestra 
define aspectos globais do timbre da sintese. Uma possivel sequencia temporal em Csound pode 
ser vista abaixo: 

; orchestra 
instr 1 

kl linen 10000, .2, p3, .5 

al oscil kl, p4, 1 
out al 
endin 

; score 

fl 2096 10 1 .2 .3 

il 1 440 

il 1 1 660 

Se formos tentar implementar esse codigo em Pd, podemos encontrar uma solucao seme- 
lhante na figura 1.1. Programadores tambem sao acostumados com linguagens de programacao 
que tem sua gramatica baseada na sequencialidade das acoes. A vantagem de usar uma ferra- 
menta de sintese embutida em uma linguagem de programacao e que se pode ter uma flexibili- 
dade muito maior na criacao de relacoes entre os elementos devido a possiblidade de criar novas 
abstracoes (Geiger 2005). 

O fato do Pd ser uma linguagem grafica possibilita uma facilidade de descricao do processo 
de sintese sonora uma vez que o proprio codigo e semelhante ao fluxograma tradicional de 
representacao da sintese. 




f; pd dsp 1J 



Figura 1.1:2 notas num oscilador simples 

A estrutura de um fluxograma possui uma sequencialidade implicita (da saida final ate os 
parametros de cada gerador), mas nao explicita como vao ser manipulados os parametros nem 
qual sera a duracao da musica. 

Os ambientes Max/Msp e Pd sao construidos sob o paradigma do envio da mensagem o 
que nao necessariamente possibilita que a linguagem seja adequada para o armazenamento e 
recuperacao de dados. O usuario e praticamente forcado a colocar os dados dentro de objetos 
armazenadores e arquivos externos - bases de dados, essencialmente - e a usar um leque de 
objetos como acessorios para estocar e recuperar dados dentro do controle de passagem de 
mensagens em tempo real. 

A abordagem do Max/Msp e Pd quanto aos dados e ao mesmo tempo simples e evasiva: 
objetos especiais de armazenagem de dados como [table] e [qlist], dentre outros sao disponi- 
bilizados. Os dados sao essencialmente colocados dentro de diferentes objetos armazenadores, 
e para cada tipo de armazenador uma abordagem particular e colocada para sua estocagem, 
edicao, interface e comunicacao com o resto do patch. 

A recuperacao de dados e a pior qualidade do Max porque mensagens nao tem valores de 
retorno. Por exemplo, uma caixa de numero manipulada com o mouse nao retorna os dados da 
manipulacao, que devem ser recuperados com outros objetos). Os dados recuperados devem ser 



mandados como uma mensagem separada de retorno. Isso leva muitos programadores de Max 
a achar solucoes diferentes que facilitem a integracao do patch com o nivel compositional. 

A ideia original por tras da criacao do Pd foi remover a barreira entre a computacao dirigida 
por eventos em tempo-real (como no estilo do Max de passagem de mensagens) e dos dados 
(como em pontos num grarico ou notas numa partitura). Em Pd os dois (caixas de objetos e 
estruturas de dados) podem facilmente coexistir em uma mesma janela. Essa "promiscuidade", 
no entanto, nao acaba deixando os objetos funcionais e os dados intimamente conectados. De 
fato, no design presente, o acesso aos dados tern que ser feito atraves de uma sequencia de 
objetos como acessorios . 

Em relacao a essa divisao do aspecto "performatico" e "compositional" do Pd, Miller Puc- 
kette explica que 

Em sua forma mais sucinta, o problema e que, enquanto temos bons paradigmas 
para descrever processos (tal como em Max ou Pd, da forma como ties existem 
hoje), e enquanto muito trabalho tem sido feito na parte de representacao de dados 
musicais (incluindo buscas em bases de dados de sons, passando pelos programas 
Patchwork e OpenMusic, e incluindo o nao finalizado editor de estruturas de dados 
do Pd), nao possuimos um mecanismo fluido para navegar entre esses dois mundos. 
(Puckette 2004) 5 

Apesar das muitas diferencas entre as interfaces dos ambientes de programacao, o compositor 
deve manter claro o foco no resultado sonoro da interacao entre gesto instrumental e controle 
de maquina. Abordando o assunto a partir de uma visao didatico-metodologica, um projeto 
compositional em Pd deve compreender a clara distincao entre os aspectos performaticos e 
composicionais do ambiente. O que chamo aqui de aspectos performaticos em musica interativa 
e a propria relacao criada entre a analise do estimulo do instrumentista e os parametros de 
algoritmos generativos. 

Sobre os aspectos composicionais me refiro a imagem global do fazer compositional e sua 
relacao com as ferramentas em questao. Quando falamos de interacao entre humanos pensamos 



5 "in its most succinct form, the problem is that, while we have good paradigms for describing processes (such as 
in the Max or Pd programs as they stand today), and while much work has been done on representations of musical 
data (ranging from searchable databases of sound to Patchwork and OpenMusic, and including Pd's unfinished 
data editor), we lack a fluid mechanism for the two worlds to intemperate." (Minha traducao livre) 
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em modelos de cooperacao. Mas quando pensamos em interacao homem-maquina, pensamos 
em controle. Podemos pensar no conceito de influencia como intermediario entre cooperacao e 
controle, e mais adequado como modelo de desenvolvimento para musica interativa. 

Nesta pesquisa, foram exploradas maneiras de implementar algoritmos generativos influen- 
ciados por dados extraidos da propria analise musical da performance do musico. 



1.2 Analise 

O processo de analise musical consiste em separar elementos do discurso com o objetivo de 
revelar uma possivel estrutura fundamental ou vetores de forca que moldaram aspectos do re- 
sultado final. 

Sobre a analise feita por computadores, Rowe acrescenta: 

Ha um certo paradoxo no coracao da transferencia de musical conhecimento para 
uma maquina. Temos que trabalhar intensamente para fazer um programa de com- 
putador efetuar as analises necessarias de um calouro estudante de musica. Uma 
vez que o trabalho e feito, no entanto, o programa pode fazer uma analise mais 
confiavel e certamente muito mais rapidamente do que o calouro. O computador 
pode entregar descricoes completas de cada acorde em um ditado em milisegundos 
do seu desempenho, por exemplo. (Rowe 2004) 6 

Nesse sentido, a analise assistida por computador auxilia o processo composicional durante 
tarefas de descricao que seriam extremamente trabalhosas durante o processo de composicao. 
A diferenca entre analise e composicao e de que na analise, ao final do processo, nao consegui- 
mos retornar ao pensamento composicional original, pelo fato de que o compositor durante seu 
trabalho tem a liberdade de criar e subverter regras, e determinar qualquer tipo de relacao entre 
os materials e os procedimentos, tornando praticamente impossivel de se modelar a atividade 
cognitiva durante o ato de compor. 



6 There is a certain paradox at the heart of the transfer of musical knowledge to a machine. We must labor 
mightily to make a computer program perform the analysis required of a freshman music student. Once the work 
is done, however, the program can make analyses more reliably and certainly much more quickly than the freshman. 
The computer can deliver complete descriptions of each chord in a dictation within miliseconds of its performance, 
for example. 
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Figura 1.2: Diagrama ideal das etapas de analise para musica interativa com instrumento tradi- 
tional 



Uma boa descricao dos niveis de analise que estao envolvidos em um projeto de musica 
interativa e fornecido por Rowe: 



A primeira onda de sistemas interativos de musica foi baseada quase exclusiva- 
mente no padrao Musical Instrument Digital Interface (MIDI), uma representacao 
simbolica da musica modelado sobre o comportamento de um teclado de piano, 
bem como nos conceitos tradicionais de notacao de musica. A segunda onda toma 
como entrada sinais de audio, uma sub-representacao simbolica de dados bem mais 
flexivel, ainda que seja bem menos estruturada. (Rowe 2009) 7 



7 The first wave of interactive music systems relied almost exclusively on the Musical Instrument Digital Inter- 
face (MIDI) standard, a symbolic representation of music modeled closely on the behavior of a piano keyboard, as 
well as traditional concepts of music notation. The second wave takes as its input raw audio signals, a sub-symbolic 
data representation that is far more flexible while being far less structured. 
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Figura 1.3: Esquema de etapas de implementacao de um sistema de musica interativa por Robert 
Rowe 



Podemos ver na figura 1.3 um piano geral dos niveis de analise necessarios para a desen- 
volvimento de uma possivel "escuta" generica de maquina. O sentido das flechas representa o 
fluxo de informacao entre os estagios. 

Podemos dividir a analise musical em niveis simbolico e sub-simbolico. A analise musical 
simbolica engloba a dimensao dos simbolos musicais estabelecidos pela notacao musical como 
por exemplo nota, acorde, tonalidade ou compasso. A analise musical no nivel sub-simbolico 
diz respeito a dados que contenham informacoes sobre a descricao fisica do som. Leman apre- 
senta uma descricao dos niveis simbolico e sub-simbolico na tentativa de estabelecer uma mo- 
delagem computacional de esquemas cognitivos (Leman 1989). 

Enfatiza que o processamento de informacao sub-simbolica abstrata pode fornecer novas for- 
mas de lidar com os aspectos do comportamento comunicativo que ate agora tern sido muito 
dificeis de tratar em modelos simbolicos. Tambem argumenta que diferentes tipos de mecanis- 
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mos de processamento de informacoes sub-simbolicas podem ser exploradas e aplicadas a este 
campo como alternativas e/ou abordagens complementares aos modelos simbolicos. Em parti- 
cular, considera a possibilidade de representar conceitos musicais como padroes de informacoes 
fornecidas pelo transdutor de mecanismos sensorials, ao inves de simbolos abstratos onde o 
conteudo e separado da forma. Por fim argumenta em favor de uma representacao analogica 
musical com base na Psicoacustica e propoe este sistema como uma alternativa para a aborda- 
gem de discurso logico da representacao musical (Leman 1989). 

Apesar da analise ser um dos principals elementos dessa pesquisa, e preciso definir que o 
objeto final e uma ferramenta de composicao e nao de analise. Nesse caso, a analise serve como 
uma etapa da composicao. A composicao em si se da no proprio momento da performance. 
Cada execucao musical realizada com SInCoPA tera elementos diferentes, mesmo que o ins- 
trumentista execute o mesmo trecho musical, as escolhas sonoras do programa terao variacoes. 
Is so porque pequenas variacoes de tempo e dinamica interferem no resultado da analise e por- 
tanto afetam os parametros dos algoritmos geradores. 

Normalmente pensamos na analise como uma acao posterior ao processo de composicao. 
Nesta pesquisa a etapa de analise e um dos pontos indispensaveis do processo de composicao. 
Um possivel diagrama ideal das etapas de analise, necessarias a constituicao de um sistema 
de interacao musical com um instrumento tradicional pode ser visto na figura 1.2, onde temos 
um primeiro nivel sub-simbolico de analise do audio e primeira segmentacao e classificacao de 
notas (pitch), amplitude, ataque e tempo entre ataques (IOI 8 ) e timbre. 

O nivel simbolico aparece abaixo em duas linhas compreendendo primeiro analise de con- 
tornos, permeabilidade melodica, estabilidade ritmica e densidade ritmica. Que se subdividem 
em analise melodica, harmonica, de padroes ritmicos e de variacoes timbristicas. Uma hipotese 
e que no final dessa sequencia de analises, os resultados propiciarao elementos para um meca- 
nismo mais completo de analise da forma. 

No recorte dessa pesquisa, foram definidas e apontadas ferramentas que compreendem o 
nivel sub-simbolico e a primeira classe do nivel simbolico. 



^Intervalo entre ataques (Inter- Onset-Interval) (Rowe 2004) 
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Uma outra analise pode ser feita sobre o resultado final da interacao, quando se obtem o 
conjunto de dados e estruturas geradas pelo musico e por SInCoPA. Idealmente, na analise 
desses dados nao ha como separar a influencia do sistema na execucao do musico. O resultado 
da analise desses dados pode revelar estruturas arquetipicas passiveis de classificacao, o que 
poderia ser chamado de taxonomia da interacao. Tal qual a espectromorfologia (Smalley 1986) 
e uma taxonomia geral para analise de musica eletroacustica 9 . 

1.2.1 Analise de audio 

O objetivo da analise de audio e extrair informacoes em tempo-real que possam ser convertidas 
em elementos simbolicos musicais, como notas, duracoes e dinamica. A partir dessa conversao 
podemos implementar outras analises no ambito dos elementos musicais, como analise de con- 
tornos, estabilidade e densidade ritmica e outros modelos de analise aplicados aos elementos 
simbolico-musicais. 

Outro nivel de informacao e fornecido pela analise do timbre, capaz de revelar detalhes do 
comportamento espectral de cada evento, que no caso de uma performance instrumental, pode 
ajudar a expor aspectos narrativos. 

Existe uma certa dificuldade na tentativa de definir uma ferramenta generica de analise de 
audio que funcione igual em diferentes plataformas e configuracoes. Isso se da por conta das 
muitas variaveis envolvidas, como diferentes instrumentos, microfones, captadores, placas de 
som e outros fatores. A dificuldade varia de acordo com as configuracoes possiveis. A captura 
e analise de audio de instrumentos monofonicos e que usam captadores e bem mais estavel do 
que situacoes que envolvem microfones e instrumentos polifonicos. 

A experiencia de musica interativa usando violao ou guitarra eletrica passa necessariamente 
pela problematica do reconhecimento de frequencias nos trechos de sinal polifonico. Uma 
solucao seria o uso de um captador hexafonico para captar o audio separado de cada corda. 



9 Nesse sentido podemos apontar os artigos "Por uma morfologia da interacao" (MENEZES e Filho 2006) e 
"Morphological notation for interactive electroacoustic music" (Patton 2007) como seminais na defini^ao dessa 
taxonomia. 
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Figura 1.4: Captador hexafonico GK-2A da Roland 

Uma das principals opcoes comerciais e o captador GK-2A da Roland visto na figura 1.4. Ele 
funciona em conjunto com um modulo de hardware vendido separado que faz o trabalho de 
conversao de audio para MIDI, incluindo ainda algumas funcionalidades, como arpegiador au- 
tomatico e mudanca de canal controlados por pedal e banco de timbres. Outras solucoes incluem 
o desenvolvimento experimental de hardware tanto na implementacao do proprio captador he- 
xafonico, quanto na construcao de um modulo amplificador de seis canais separados. 

Miller Puckette, descreve sua propria experiencia na construcao de um sistema interativo para 
guitarra preparada com captador hexafonico: 

Eu estive trabalhando em um projeto de longo prazo para projetar um instrumento 
de musica computacional para tentar trazer a tona e enfrentar algumas das di- 
ficuldades encontradas pelos musicos que tentam usar computadores em perfor- 
mance ao vivo. O instrumento e baseado numa guitarra eletrica compacta (Stein- 
berger/Gibson), com um captador adicional de seis cordas separadas (Roland). Nao 
encontrando um amplificador barato e compacto de 6 canais no mercado, eu pro- 
jetei e construi um muito simples. Este e conectado a um computador usando uma 
interface multicanal PCI (Midiman). Um patch de Pd, rodando em linux, em se- 
guida, executa uma serie de transformacoes interessantes sobre os seis sinais de 
audio, e mistura-os para saida em estereo. 

Isto e completamente diferente do padrao "sintetizador de guitarra", que mapeia 
as cordas para conduzir sintetizadores. Tais instrumentos cometem muitos erros 
audiveis, e eles tambem sofrem com a latencia adicionada do mapeamento. No 
instrumento aqui descrito, a latencia de todo o processo e somente a do Pd propri- 
amente, cerca de 10 milissegundos (provavelmente nao e dificil reduzi-la a 5 ou 6 
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usando correcoes em tempo real do kernel, mas eu preferi usar uma distribuicao 
pronta de linux) (Puckette 2009). 10 

Da mesma maneira como e mostrado em SInCoPA a analise de audio operada em um sinal 
de audio monofonico, poderiamos implementar um modulo de analise para cada uma das seis 
cordas de uma guitarra. O Pde um ambiente de programacao com bons recursos de analise 
de frequencia e amplitude. Varios objetos sao disponibilizados como filtros, conversores e 
algoritmos de estimativa de frequencia fundamental. Podemos afirmar que a analise de audio 
monofonico com objetos padrao do Pd tern uma boa estabilidade e precisao. Dentro do escopo 
desta pesquisa sao aprofundados experimentos em analise de audio monofonico, ainda que 
muitas vezes os testes tenham sido feitos com instrumentos polifonicos como violao e guitarra, 
executando linhas melodicas. 

1.2.2 Representacao musical 

A analise do audio de entrada em tempo-real e convertida em uma representacao simbolica de 
elementos musicais. A primeira segmentacao da analise de audio, diz respeito ao nivel da nota, 
sua frequencia (pitch), amplitude e ataque. O resultado da analise de audio e convertido em um 
fluxo de eventos MIDI. 

Nessa pesquisa, optou-se pelo protocolo MIDI como um intermediario entre as descricoes da 
analise de audio e o conjunto de representacoes simbolicas envolvidas no sistema. Os algorit- 
mos de geracao de material musical usam formatos variados de representacao musical alem do 
MIDI, de acordo com a necessidade de cada caso. 



10 I've been at work on a long-term project to design a rather personalized computer music instrument to try 
to bring out and confront some of the difficulties encountered by musicians trying to use computers in live per- 
formance. The instrument is based on a compact electric guitar (Steinberger/Gibson) with an added six-string 
separated pickup (Roland). Not finding an inexpensive and compact 6-channel preamp on the market, I designed 
and built a very crude one. This is interfaced to a computer using a multichannel PCI interface (Midiman). A Pd 
patch, running in linux, then performs a variety of interesting transformations on the six audio signals, and mixes 
them to stereo for output. 

This is entirely different from standard "guitar synthesizers"which pitch track the strings to drive synthesizers. 
Such instruments make lots of audible mistakes, and they also suffer from the added latency the comes from the 
pitch tracker. In the instrument described here, the latency of the whole affair is only that of Pd itself, about 10 
milliseconds (it's probably not hard to reduce it to 5 or 6 using real-time kernel patches but I preferred to use 
off-the-shelf linux). 
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Muitos autores ja discorreram sobre os limites da representacao musical com o protocolo 
MIDI. O objetivo e usar o MIDI como protocolo de comunica§ao com outros programas para 
manipulagao dos algoritmos geradores. De certa maneira a forte relacao do protocolo MIDI 
com a musica instrumental e um ponto positivo nesta pesquisa que preve interacao musical 
atraves de instrumentos tradicionais. A reacao dos compositores de musica eletroacustica em 
relacao ao protocolo MIDI e bem exposto por Rodolfo Caesar: 

A musica eletroacustica e o protocolo MIDI nao foram feitos um para o outro: 
a especiricidade da primeira nao encontra ressonancia imediata no segundo. Se 
quisermos fazer uso do protocolo MIDI para a musica eletroacustica, e preciso 
algum empenho contra suas limitacoes. (Caesar 1995) 

Podemos entender esse tipo de reacao, se pensarmos que o MIDI foi um padrao que percorreu 
desde os estudios de musica comercial ate as pesquisas experimentais de musica interativa nos 
anos 80. Robert Rowe explica: 

As primeiras implementacoes de sistemas de som interativos eram feitas geral- 
mente com Musical Instrument Digital Interface (MIDI) padrao. O padrao MIDI 
tern sido reconhecido desde o seu inicio por ser lento e limitado no seu ambito 
de representacao. A dependencia de equipamento MIDI externo tern condenado 
uma geracao de trabalhos interativos para a obsolescencia, assim que o hardware 
necessario se torna indisponivel. Maquinas mais rapidas e mais baratas tornaram 
possivel nos ultimos anos a realizacao de analise, sintese, amostragem, e os efei- 
tos sobre a CPU de um computador de uso geral pessoal, em simultaneo com a 
execu§ao do software em nivel de controle. (Rowe 2005) n 

MIDI e usado na prototipacao de algoritmos que dizem respeito as questoes de altura, duracao 
e dinamica. De maneira geral, nao faz sentido usar MIDI em situacoes musicais que nao sao 
pensadas sob o paradigma da nota tocada. O que nao e necessariamente uma regra, pois ainda 
nesses casos o protocolo MIDI pode ser util. 

No nivel da representacao simbolica, os dados sao convertidos para MIDI e manipulados 
com estruturas hibridas como arrays e listas de numeros. Apesar de obsoleto, muito desen- 



1 ' Interactive music systems in early implementations usually made use of the Musical Instrument Digital In- 
terface (MIDI) standard. The MIDI standard has been recognized since its inception to be slow and limited in its 
scope of representation. Reliance on outboard MIDI gear has doomed a generation of interactive works to obso- 
lescence as the requisite hardware becomes unavailable. Faster and cheaper machines have in recent years made it 
possible to perform analysis, synthesis, sampling, and effects on the CPU of a general purpose personal computer, 
simultaneously with the execution of control level software. 
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volvimento ainda e feito pensando no protocolo MIDI. O protocolo OSC 12 permite que sejam 
enviados pacotes de dados via rede pelo protocolo UDP/IP. Nesses pacotes podemos incluir 
mensagens MIDI inteiras ou fragmentadas e reconstruidas na extremidade de quem esta rece- 
bendo. O modelo de representacao musical no Pd e uma combinacao dos principals protocolos 
disponiveis para mtisica interativa. Isso permite uma definicao hibrida na representacao dos 
dados, como e o caso nessa pesquisa. 

1.2.3 Segmentacao e Classificacao 

Segmentacao e o processo pelo qual, eventos musicais sao organizados em grupos. Existem 
diversas razoes que reforcam a importancia da segmentacao: primeiro, porque nos, seres hu- 
manos, percebemos mtisica por trechos em varios niveis e um sistema interativo que procura 
emular o comportamento de um musico deve estar apto a formar grupos durante a analise, si- 
milar ao que o instrumentista percebe durante a escuta. 

A implementacao de um segmentador que simule o ato de escuta de um ser humano e um 
trabalho especifico que foge do escopo desta pesquisa. Entretanto, podemos atraves da literatura 
da area e da experimental ao criar pequenos mecanismos que incrementam a capacidade de 
segmentacao do sistema. 

O primeiro elemento a ser pensado na segmentacao de um fluxo musical, sao os silencios. 
Na concepcao de dialogo entre ser humano e maquina, e imprescindivel que a maquina es- 
teja preparada para reconhecer automatic amente as pausas no discurso. Cada pausa deve ser 
categorizada como respiracao, fim de frase, fim se secao ou fim da peca. 

Veremos que na implementacao podemos definir um sistema hibrido de segmentacao entre 
processos automaticos e processos de segmentacao "manual" pelo musico. Quanto mais au- 
tomatico o processo de segmentacao, mais refinado se torna o sistema de analise e classificacao. 

A classificacao de duracoes passa por dois filtros. O primeiro e o classificador de estabi- 
lidade ritmica, que atraves da media das duracoes entre ataques de notas de um recorte de 



12 



Open Sound Control 
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segmento calcula e classifica o segmento entre estavel ou instavel. Outro filtro classificador e 
o de densidade ritmica, que por sua vez classifica o segmento em questao entre alta e baixa 
densidade, podendo ainda estabelecer matizes entre os dois extremos. A classificacao de alturas 
classifica contornos e probabilidade de recorrencia de cada nota. A analise da direcionalidade e 
atratividade melodica pode ser abstraida em modelos de analise algoritmica (Lerdahl 2001), e 
atualmente vem sendo modelada para implementacao em sistemas interativos (Grahan 201 1). A 
analise e classificacao do timbre e extensamente apresentada e implementada em dois trabalhos, 
em (Brent 2009a) e (Monteiro e Manzolli 201 1). 

No caso dos geradores de processamento de audio, a segmentacao e feita atraves de um 
teclado alfanumerico modificado usado como pedal. A funcao do pedal e criar pontos no tempo 
que representam o comeco de determinados processos. Por exemplo, o comeco de leitura de 
um ponto de loop, ou o comeco e fim de gravacao de um segmento para ter o audio processado. 

Essa funcionalidade poderia ser expandida criando-se botoes de controle e sensores, posi- 
cionados no proprio corpo do instrumento. Chegando proximo ao conceito de "instrumento 
aumentado" ou "hyperinstrumenf' (Machover e J. 1989). Apesar de fugir do recorte dessa pes- 
quisa, essa possibilidade de expandir fisicamente o instrumento e um recurso muito util em 
sistemas de musica interativa. Isso pode facilmente ser feito com a plataforma Arduino 13 , inte- 
grada dentro do Pd. 

1.2.4 Interacao e Automacao 

Interacao e Automacao de certa maneira refletem animos tanto do fazer composicional de 
musica instrumental, onde o compositor escreve em notacao tradicional (automacao) enquanto 
o instrumentista interpreta (interacao). Ou entao ao contrario como em alguns procedimentos 
de composicao eletroacustica, onde o compositor interage com os materials e as ferramentas no 
estiidio para gravar uma imagem sonora automatizada. 



13 Arduino e uma plataforma de prototipacao eletronica para aplicacoes interativas. Disponivel em: 
www.arduino.ee 
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O dialogo musical e desenvolvido com o estimulo do instrumentista e a resposta do compu- 
tador. Os dados da analise dessa execucao, alimentam um leque de algoritmos interativos que 
tern seus parametros alterados pela analise. Nesse sentido podemos classificar os algoritmos 
composicionais em sequenciados, generativos e transformativos (Rowe 1993). Ao longo da 
descricao de SInCoPA iremos descrever algumas implementacoes dessas tres categorias. 

Uma caracteristica de um sistema interativo e a capacidade de criar automacoes em tempo- 
real. Nesse sentido podemos pensar em um sequenciador que seja controlado em tempo real 
pela performance do musico. Diferentes graus de interacao e automacao sao explorados ao 
longo do trabalho que preve algoritmos generativos, baseados nos dados da analise. Alem de 
algoritmos transformativos tanto do material musical simbolico, abstraido da analise, quanto 
do proprio audio, como processamento de audio atraves de fragmentacao, repeticao e processa- 
mento de amostras de audio. 

1.3 Poetica da interacao 

A propria imersao nas tecnicas de composicao assistida por computador de certa maneira con- 
duz uma estetizacao na concepcao musical. Essa estetizacao visivel pode ser considerada po- 
sitiva, pois nao existe a pretensao de com um sistema de interacao homem-maquina simular- 
mos precisamente a interacao musical entre humanos. A intencao e aprofundar as relacoes 
de interacao musical homem-maquina para a possivel emergencia de novas ideias expressivo- 
musicais. 

A ferramenta enquanto objeto tecnico povoa a imaginacao do compositor. A possibilidade 
da gravacao e repeticao do proprio audio emitido automatic amente cria uma paleta de possibili- 
dades inventivas. Enquanto procedimento, a repeticao sempre fez parte da linguagem musical. 
O desejo pela repeticao pode ser um arquetipo presente em nossa cultura muito antes do surgi- 
mento das tecnologias de gravacao de audio. Uma especie de variacao da busca de obra de "arte 
total" idealizado por Richard Wagner: 
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Nos loops de audio quanto mais semelhanca entre as partes final e inicial, mais 
mascarada fica a emenda. Quanto mais disfarcada a parte da "cola", mais garan- 
tido o efeito de um "sem fim". A finalidade desta emenda bem-feita manifesta 
premonitoriamente (no seculo XIX), o desejo de "imersao" de algumas artes "di- 
gitals", "multimidias" ou "tecnologicas", projeto tipico de decadas finais do seculo 
XX e initio do XXI. O sonho da "obra de imersao total" - que portanto depende 
de um confinamento e um mascaramento - e criteriosamente representado no filme 
"Brainstorm" (1983), de Douglas Trumbull, no qual um grupo de cientistas inventa 
um gravador que registra integralmente as emocoes humanas. O grau maximo e 
total de satisfacao onanista e perseguido por um dos cientistas - personagem re- 
presentando o mau uso da ciencia - que finalmente realiza seu super- loop: Clip: 
trecho de "Brainstorm", em que se ve o "mau" cientista aprisionado ao loop de seu 
orgasmo, gravado na companhia de uma prostituta, que nao recebera royalties pelo 
uso de sua imagem. (Caesar 2008) 

Alguns aspectos filosoficos sobre a questao da repeticao na composicao contemporanea, sao 
extensamente desenvolvidos por Silvio Ferraz no seu livro "Musica e repeticao: a diferenca na 
composicao contemporanea": 

O eterno retorno nao pode significar o retorno do identico, pois ele supoe, ao 
contrario, um mundo (o da vontade de potencia)em que todas as identidades previas 
sao abolidas edissolvidas. Retornar e o ser, mas somente o ser do devir. O eterno 
retorno nao faz "o mesmo" retornar, mas o retornar constitui o unico Mesmo do 
que devem. Retornar e o devir-identico do proprio devir. Retornar e, pois, a unica 
identidade,mas a identidade como potencia segunda, a identidade da diferenca, o 
identico que se diz do diferente, que gira em tornodo diferente. Tal identidade, 
produzida pela diferenca, e determinada como "repeticao". (Ferraz 1998) 

Quando pensamos em estimulos composicionais, nos deparamos com expressoes vagas de 
descricao de emocoes e fragmentos de memoria. Essas descricoes ajudam o compositor a defi- 
nir caminhos para criacao de narrativas e objetos sonoros. O poder expressivo da musica inte- 
rativa e a capacidade de fusao e contraste em diversos niveis. Desde o nivel cultural que preve 
uma bagagem de idiomas e gestos proprios, tanto do dominio intrumental quanto do campo da 
computacao musical, ate o nivel sub-simbolico, com as possilidades de fusao espectral do som: 

Para haver fusao entre as escrituras instrumental e eletroacusticas, sera necessario 
que haja transferencias localizadas de caracteristicas espectrais de uma esfera de 
atuacao a outra. Aquilo que se funde com outra coisa, assim o faz pela similari- 
dade absoluta, com esta outra coisa, de ao menos um aspecto de sua constituicao. 
Nesse sentido, tratando-se de sons eletroacusticos pre-elaborados em estudio, a 
eleicao do material constitutivo de partida adquire grande relevancia: sera mais 
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plausivel trabalhar, sobre suporte, com sons oriundos dos proprios instrumentos do 
que com proveniencias dispares, sem qualquer relacao de origem com a materiali- 
dade corporea dos instrumentos utilizados. Ainda que as transformacoes em curso 
possam ser bem drasticas, o uso de material constitutivo similar faz com que haja 
preponderancia em conservar algum aspecto energetico que confira identidade as 
texturas sonoras resultantes. (MENEZES e Filho 2006) 

Na miisica interativa pode-se argumentar que a fusao se da tambem no nivel fisico do gesto. 
Quando a interacao e mais reativa e auditivamente reconhecivel como dialogo interativo, a 
propria percepcao do todo se aproxima de uma fusao sonora. Quando se define metodos de 
interacao musical devemos levar em conta experimentos que explorem as fronteiras do que 
o miisico entenda que seja uma escala de fusao sonora e gestual. Ai se coloca uma questao 
importante que e o papel do miisico interprete. A formacao tradicional do interprete musical 
nem sempre contempla as nuances e duvidas presentes na construcao de uma interpretacao de 
miisica interativa. 

Como quer que seja, na fusao instaura-se uma condicao de duvida. Em certa me- 
dida, fusao implica propositadamente, da parte do compositor, confusdo para o 
ouvinte, .... o ouvinte recai em constantes duvidas acerca da natureza daquilo que 
se ouve: se advem do instrumento ou da emissao eletroaciistica, se se opera ao vivo 
uma dinamizacao espacial, harmonica , timbrica e temporal da escritura instrumen- 
tal ou se sera defronte de estruturas pre-elaboradas em estiidio, constituidas a partir 
dos proprios instrumentos ou a estes timbricamente correlatas. Em relacao a pro- 
veniencia sonora, quanto mais "confuso" estiver o ouvinte em face daquilo que o 
ouve, tanto mais ele sentira como efetivamente integradas as partes constitutivas 
da obra mista; os "dois planos"pressupostamente independentes e unidos apenas 
por contingencia, ... Ainda que de forma alguma hegemonico, o estado de duvida 
traduz-se como momento supremo da interacao. (MENEZES e Filho 2006) 

Certamente a duvida e uma das caracteristicas mais importantes na composicao de miisica 
interativa. Nesse sentido, um aspecto fecundo e a duvida do miisico interprete. O fato do 
instrumentista nao conseguir entender/controlar a resposta da maquina pode levar a composicao 
a um patamar de constante descoberta e inovacao. Acredito que essa seja uma importante atitude 
composicional em um projeto de miisica interativa, pois leva o instrumentista a atitudes mais 
radicals na busca por variacao e contraste musical. 

O contraste, por sua vez, ancora-se sobretudo na diferenca e na distingdo absoluta. 
Em seus momentos mais acentuados, faz com que a emissao instrumental ou a 
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eletroaciistica assumam o papel estrutural do silencio ou, ao contrario, adquiram 
autonomia temporal e ate mesmo excludente com relacao a outra esfera sonora. 
(MENEZES e Filho 2006) 

Fusao e contraste sao aspectos que sempre estiveram ligados a pratica composicional. Na 
composicao de musica interativa encontramos um ponto onde varios eixos se cruzam e diversos 
matizes de fusao e contraste podem conduzir uma poetica musical interativa. O embate sonoro 
entre homem e maquina pode por rim revelar os aspectos essencialmente humanos que se possa 
expressar musicalmente. 

Papel do musico na interacao homem-maquina 

Do ponto de vista do instrumentista, alguns aspectos podem ser apontados nessa pesquisa. Por 
um lado o gesto instrumental consiste no impulso inicial e tambem em uma especie de "cola" 
narrativa. Por mais que se fornecam elementos de analise para o sistema computacional, as nar- 
rativas geradas tendem a ser repetitivas e obvias. Nesse contexto se abre um campo grande para 
experimentacao instrumental. Se pensarmos na lei da "boa continuidade" na Gestalt, podemos 
investigar que o instrumentista treinado tende a completar os espacos de pausa e realizar mo- 
vimentos cadenciais. Criando significado narrativo para gestos a principio ligados pelo vinculo 
com a analise do instrumentista, mas muitas vezes sem conexao interna. 

Outro campo de possivel investigacao e a analise de em que nivel a pratica instrumental 
com um ambiente reativo como esse proposto aqui, influencia o gestual do instrumentista. Um 
estudo minucioso poderia incluir a avaliacao do gestual instrumental antes e depois do contato 
do instrumentista com o sistema. 

De certa maneira, o instrumentista treinado e o profissional mais preparado para conceber 
um sistema interativo dessa natureza. Primeiro porque conhece os detalhes de comportamento 
sonoro de seu instrumento a partir da pratica instrumental ao inves da pura analise espectral. 
Em segundo lugar porque entende o idioma instrumental de maneira empirica. A complicada 
trama entre fisicalidade instrumental e narrativa sonora exige um conhecimento empirico sobre 
a pratica instrumental. 
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Nesse capitulo foi exposta a linha geral de pesquisa que conduziu o desenvolvimento desse 
trabalho. Num primeiro momento, a problematica da pesquisa se voltou ao ato composicional 
atraves da computacao e na relacao das diferentes interfaces computacionais com o pensamento 
criativo musical. Se faz necessaria uma reflexao sobre as diferentes ferramentas e linguagens 
computacionais levando-se em conta a mudanca de paradigma compositivo colocado pelas no- 
vas tecnologias. 

Foram expostos os principals conceitos referentes a analise e sua classificacao em diferentes 
niveis de representacao. Dentro de um projeto de miisica interativa e essencial a determinacao 
de uma metodologia de analise que leve em conta a distancia entre a representacao fisica do 
fenomeno sonoro e a definicao de elementos simbolicos musicals. 

Ainda foram expostos conceitos capazes de influenciar um planejamento composicional em 
miisica interativa como por exemplo, a separacao binaria entre automacao e interacao. Por rim, 
foram expostas algumas reflexoes sobre a possibilidade de uma poetica presente na interacao 
homem-maquina e sobre o papel do compositor-instrumentista na composicao de miisica in- 
terativa. Os problemas conceituais aqui apresentados, apesar de nao possuirem conclusoes 
definitivas, sao melhor apreciados e compreendidos ao longo da exposicao tecnica de SInCoPA. 



Capitulo 2 



Trabalhos relacionados 



Neste capitulo serao abordados alguns trabalhos na busca de estabelecer conceitos para classificacao 
de sistemas de musica interativa. Com objetivo de situar o estado da arte e diferentes abordagens 
de desenvolvimento em sistemas dessa natureza. Ao longo do texto serao descritos e compara- 
dos alguns trabalhos que representam avancos notorios em composicao algoritmica simbolica, 
tecnicas de analise, notacao e organizacao de musica interativa. Nesse sentido procuramos lo- 
calizar o desenvolvimento de SInCoPA (capitulo 4) dentro do mapa das referencias atuais dos 
sistemas de musica interativa. 

O conceito de interacao entre uma performance musical e computador vem sendo defi- 
nido nas ultimas 3 decadas, e possui diferentes nuances de definicao a depender do contexto 
idiomatico musical e da tecnologia em que e implementada cada obra musical interativa. A 
descricao "sistemas musicais interativos" e um termo introduzido no livro Interactive Music 
Systems (Rowe 1993) e definido como "sistemas de musica computacional em que as mudancas 
de comportamento sao responsivas a um estimulo musical". Interacao em um sentido mais glo- 
bal pode ser definida tanto como as acoes do performer que afetam o resultado produzido pelo 
computador, como pelas acoes do computador afetando os resultados do performer (Garnett 
2001). Isso pode ser comparado a comunicacao entre musicos no modelo de musica de camara 
tradicional onde dois ou mais musicos realizam musica escrita, improvisada ou mista (Winkler 
1993). 
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Em relacoes interativas mais complexas, "um compositor pode delegar varios papeis a um 
computador num ambiente de musica interativa. Ao computador pode se dar o papel de instru- 
mento, performer, regente, e/ou compositor. Esses papeis podem existir simultaneamente e/ou 
mudar continuamente"(Lippe 2001). 

A pesquisa em sistemas musicais interativos vem nos ultimos anos deixando de ser uma 
abstracao teorica e se transformando em realidade concreta. O corpo de areas de pesquisa com- 
preende temas como cognicao musical, computacao e teoria e analise musical. Podemos apon- 
tar a multi-disciplinaridade dessa tese como pertencente ao escopo de uma disciplina generica 
emergente denominada Desenho de Interacao (ID) 1 . A maioria dos tratados e especificacoes 
da ID se referem a interacao para a web e interacao homem-maquina focada em paradigmas 
comerciais. Ainda que esse trabalho busque uma maior interacao homem-maquina num nivel 
de funcionalidade auxiliar a poetica musical, algumas ideias e pensamentos da ID foram uteis 
na organizacao do desenvolvimento do SInCoPA. Como por exemplo, os sete estagios da acao 
(Norman 2006) onde descreve que para descobrir o que torna a execucao de uma tarefa dificil 
e necessario examinar a estrutura de uma acao. Ele propoe sete estagios: um para meta, tres 
para execucao e tres para avaliacao. A seguir cada estagio sera detalhado. Formalizar a meta - 
o primeiro estagio refere-se a decisao de realizar alguma coisa, ou seja, estabelecer a meta a ser 
alcancada. A meta e algo a ser atingido, e nem sempre e bem definida. Formalizar a intencao - 
de acordo com Norman as metas nao definem precisamente o que deve ser feito. Para se trans- 
formar em acoes as metas precisam ser traduzidas em definicoes especificas do que deve ser 
executado, o autor denomina essas definicoes de intencoes. As intencoes sao acoes especificas 
que foram realizadas para atingir as metas. Portanto, apos determinar a meta a ser alcancada 
deve-se determinar quais serao as acoes a serem executadas para atingir a meta estabelecida. 
Especificar a acao - apos definir as intencoes, essas devem ser traduzidas por um grupo de 
comandos internos, ou seja, uma sequencia de acoes que possam ser desempenhadas de modo 
a satisfazer a intencao. Ressalta-se que ate esta etapa tudo ocorre mentalmente. Executar a 
acao - com a sequencia de acoes definidas, deve-se colocar em pratica o que foi estabelecido. 



'interaction Design (ID) - traduzido livremente como Desenho de Interacao 



25 

Ter a percepcao do estado do mundo - esta fase esta intimamente relacionada com a posterior 
(interpretar o estado do mundo). Neste momento, devem-se perceber as alteracoes ocorridas no 
ambiente que ocorre a acao. Interpretar o estado do mundo - apos a percepcao deve-se analisar 
e compreender o que ocorreu no ambiente em questao. 

Avaliar o resultado - por fim, deve-se comparar o resultado obtido com a meta estabelecida 
para concluir se o que foi planejado foi de fato alcan§ado. Norman deixa claro que estes estagios 
nao sao regras, sao apenas um modelo aproximado para compreender como os individuos fazem 
as coisas. Esses estagios podem facilmente ser pensados como um metodo para um design do 
desenvolvimento de um projeto interativo. Apesar da presente pesquisa nao usar de maneira 
sistematica esse metodo, esses estagios podem servir como metodo de avaliacao ao final do 
desenvolvimento. 

Outra area emergente que possui muitas caracteristicas em comum com esse trabalho e a 
disciplina que se chama "Realidade Aumentada" (RA), que e uma linha de pesquisa dentro da 
ciencia da computa§ao que lida com integracao do mundo real e elementos virtuais ou dados 
criados pelo computador. Atualmente, a maior parte das pesquisas em RA esta ligada ao uso 
de videos transmitidos ao vivo, que sao digitalmente processados e "ampliados" pela adicao de 
graficos criados pelo computador. 

A definicao de Ronald Azuma sobre a Realidade Aumentada (Azuma 1997) e uma descrigao 
generica que pode nos auxiliar na delimitacao teorica. Ela ignora um subconjunto do objetivo 
inicial da RA, porem e entendida como uma representacao de todo o dominio da RA: Realidade 
Aumentada e um ambiente que envolve tanto realidade virtual como elementos do mundo real, 
criando um ambiente misto em tempo real. Azuma define a Realidade Aumentada como um 
sistema que: 

• combina elementos virtuais com o ambiente real; 

• e interativa e tem processamento em tempo real; 

• e concebida em tres dimensoes. 
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Se pensarmos em uma realidade aumentada sonora, chegaremos a uma definicao que se afina 
com alguns objetivos desta proposta. Um projeto similar nesta busca de interatividade sonora e 
o RjDj 2 - uma companhia que desenvolve programas de audio para o telefone celular IPhone, 
baseado em Pure data. Cada programa e chamado "cena"e e feito em Pd. Cada "cena"se ocupa 
em explorar alguns aspectos sonoros do ambiente e interagir responsivamente com esses sons, 
criando uma outra narrativa com elementos reais a volta. A experiencia de escutar sua voz 
distorcida, somada a outros sons do ambiente sonoro, provoca uma mudanca de percepcao ate 
entao explorada somente no circuito da musica eletroacustica e experiencias de laboratorio. O 
RjDj possibilita experiencias sonoras unicas, integrando o som do ambiente , inventividade so- 
nora e re-combinacao atraves de software. Pode-se considerar o RjDj um real experimento em 
realidade aumentada no campo sonoro, uma vez que uma "cena" pode "harmonizar" eventos 
sonoros acontecidos ao redor, ou modificar o andamento de uma musica pelo sensor de movi- 
mento do telefone. Os inventores do RjDj, costumam chamar o sistema deles de "droga digital", 
pois e capaz de alterar o estado de percepcao sonora, de acordo com a cena carregada e com os 
estimulos do ambiente e do usuario (BARKNECHT 201 1). 

Um aspecto importante em um projeto que envolva arte e tecnologia e a interacao entre o 
desenvolvimento da ferramenta e o possivel resultado musical que a ferramenta possibilita ou 
conduz. Um projeto proximo que influenciou essa pesquisa foi o "Navalha" (Soares 2009), de- 
senvolvido no Pontao de Cultura Juntadados 3 . Um elemento relevante nesse projeto e a postura 
politica alinhada com a dimensao poetica e tecnica. 

Este projeto e um estudo para estimular uma atividade que torna-se cada vez mais 
evidente no universo do software livre e codigo aberto - a customizacao de soft- 
ware para ideias artisticas e para producao multimidia em geral permitindo aquele 
que visa criar desenvolver suas ideias abstratas partindo de maneiras rapidas de tra- 
balhar com codigo, ao inves da logica onde o artista e visto como um usuario de 
interfaces ja prontas que ao tentar "prever aquilo que quer o usuario" tambem acaba 
impondo sua pratica de uso. (Soares 2009) 

O desenvolvimento do "Navalha" seguiu um caminho paralelo a outros projetos coletivos, 
experimentos em execucao musical e instalacoes. Talvez essa seja uma caracteristica de projetos 



2 Dispom'vel em: http://rjdj.me/ 
3 www.juntadados.org 
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de codigo aberto, onde o projeto nao precisa estar "finalizado" para ser recombinado por outros 
artistas. Ambientes como o github 4 permitem esse fluxo de codigo de diversos projetos em 
andamento. Nesse sentido SInCoPA se situa com uma postura semelhante, uma vez que a 
pesquisa do desenvolvimento tem incentivado outros projetos em instalacoes audiovisuais e 
criacao musical. 

O fato dos sistemas de musica interativa terem como paradigma a criacao de musica em 
tempo-real, requer uma grande dimensionalidade de descricoes, rapido aprendizado, respostas 
e efetiva capacidade de antecipacao. O campo de pesquisa em sistemas musicais interativos 
(Rowe 1993) se consiste em sistemas de software e hardware criados para o fazer musical, mais 
tipicamente na performance de concertos ao vivo combinando maquinas e instrumentistas. A 
classificacao de sistemas musicais interativos de Rowe preve tres dimensoes de classificacao de 
sistemas: 

1 . Programas dirigidos pela "partitura" (score-followers) ou dirigidos pela performance (interacao 
pela improvisacao); 

2. Diferencas em relacao ao metodo de resposta pelo sistema que pode ser: transformativo, 
generativo ou sequenciado. 

3. Distincao entre paradigmas de construcao do sistema. Podemos distinguir entre sistemas 
com paradigma no instrumento, com a ideia de estender virtualmente as capacidades 
tradicionais dos instrumentos gerando estruturas como hyperinstruments, (Machover e 
J. 1989). E finalmente sistemas calcados no paradigma do instrumentista que tentam 
construir musicos artificais, uma presenca musical com personalidade e comportamento 
proprios com graus diferentes de intervencao e influencia do instrumentista (Rowe 1993). 

O sistema SInCoPA, apresentado aqui no capitulo 4 pode se enquadrar como dirigido pela 
performance com respostas transformativas e generativas e tendo o paradigma de construcao 



Disponivel em: www.github.com 
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calcado no performer, minhas composicoes anteriores, escritas durante o mestrado, foram de- 
senvolvidas utilizando a tecnica score-follower construido em Max/MSP. Nesse caso o tipo 
de interacao foi dirigido pela partitura com respostas sequenciadas e tendo paradigma no per- 
former. Considero esse tipo de interacao como um nivel medio de interacao, pois apesar do 
computador executar sozinho, ele sempre executa trechos pre-estabelecidos. No presente traba- 
lho, iremos considerar como situacao composicional ideal a possibilidade de "ensinar" certos 
comportamentos musicais apenas atraves da performance musical, ou seja, um ambiente que 
aprenda dinamicamente padroes de execucao e resposta do miisico humano e possa interagir 
com esses padroes, reiterando, competindo, negando ou propondo novas situacoes. 

A pesquisa em computacao musical tradicionalmente se utiliza de desenvolvimentos em re- 
des neurais artificials (ann - artificial neural networks), agentes inteligentes artificials e outros 
ramos da pesquisa em inteligencia artificial (IA); a producao musical oferece otimos casos - 
teste para a pesquisa em IA (Rowe 2004). 

Um bom exemplo de uso de redes neurais artificials para composicao musical e o sistema 
SANTIAGO, que e capaz de criar sequencias rftmicas automaticas a partir de modelos ritmicos 
pre-estabelecidos ainda podendo ser controlado interativamente em tempo-real. O resultado e 
um gerador ritmico capaz de realizar contrastes e variacoes ritmicas bem "organicas". 

Cada pico neural em SANTIAGO produz um evento ritmico, em contraste com re- 
des neurais artificials regulares. Estes fluxos ritmicos podem variar de periodico ou 
quase-periodica a caotica ou estocastica e tambem gerar poliritmia. Este comporta- 
mento resulta em nem muito aleatorio, nem muito uniforme e pode ser modificado 
de forma interativa enquanto a rede evolui. A atividade da rede, por exemplo, po- 
deria ser ajustada para ser minima ou densa gerando paisagens sonoras diferentes 
(Kerllenevich2011). 

Os trabalhos atuais no campo da musica interativa incluem ao mesmo tempo a analise de 
audio em tempo-real, cognicao musical e experiencias em IA e robotica; um projeto inspirador 
nesse campo e o MahaDeviBot (Kapur et al. 2007), que e um robo percussionista armado de 
treze tambores, capaz de se sincronizar com um sitarista humano atraves de sensores. 

Outros projetos relacionados podem servir como referenda para esse trabalho como o Cypher 
(Rowe 1993) de Rowe que usa a metafora da sociedade da mente (Minsky 1988) na forma de 
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musicos artificials dentro de um sistema multi-agente - o Meta-Cypher inclui multiplos ouvintes 
e performers alem de um meta-ouvinte. O Drum Circle (Eigenfeld 2007) e um sistema escrito 
em Max/MSP e explora o uso de multi-agentes sobre uma rede local onde cada agente emula 
um percussionista improvisando em um grupo de tambores, tendo como resultante um ritmo 
evolutivo onde padroes rftmicos interagem atraves de competicao e fusao, dando lugar a novos 
padroes emergentes. 

Um dos projetos mais amplos nessa area e o projeto Omax Brothers (Assayag et al. 2006) de- 
senvolvido no Ircam. Um sistema multi-agente criado para improvisacao musical entre homem- 
maquina que aprende em tempo-real com o performer humano. O nucleo da improvisacao e 
baseado em modelamento de sequencia e aprendizado estatistico. O sistema envolve uma ar- 
quitetura hibrida usando dois ambientes populares para composicao e performance, OpenMusic 
(baseado em Lisp) para modelamento e programacao de alto nivel e Max/MSP para a perfor- 
mance do sistema e processamento de audio em tempo-real. 

A maioria dos trabalhos de musica interativa que usam alguma tecnica de IA em sua composicao, 
tratam dos aspectos simbolicos da composicao e/ou analise musical. A utilizacao de um algo- 
ritmo de IA num caso especifico depende do nivel de detalhamento e descricao do problema a 
ser resolvido. Pode-se concluir que, como o aspecto simbolico da musica e melhor descrito pela 
notacao musical, a maior parte das pesquisas sobre IA e musica se aplicam sobre estes mesmos 
aspectos simbolicos. Existe uma lacuna na literatura sobre analise e composicao de aspectos 
sub- simbolicos em musica. E necessario uma forte definicao dos aspectos de representacao do 
som e como esses aspectos ajudam a construir e expandir os elementos simbolicos para analise 
e composicao. 

Nesse sentido o sistema apresentado nesse trabalho (SInCoPA) apresenta definicoes consis- 
tentes de descricao dos eventos sonoros a partir da analise do audio, ate a definicao de elementos 
simbolicos como notas e acordes. A estrutura do sistema e modular e de codigo aberto, o que 
permite a reutilizacao, ampliacao e constante aprimoramento. Na pratica o uso de SInCoPA 
permite o entrelacamento dos niveis sub-simbolico e simbolico em projetos composicionais. 
Como por exemplo na composicao "Dialogos em SInCoPA" (capitulo 5.2, onde a analise das 
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distancias entre alturas consecutivas (nivel simbolico) executadas pelo instrumentista controla 
parametros de construcao do timbre de um sintetizador (nivel sub-simbolico). 

Alguns conceitos abstraidos do estudo da percepcao sao passiveis de implementacao e por- 
tanto uteis ao universo de referencias composicionais necessarios ao sistema. Como por exem- 
plo alguns conceitos da Gestalt aplicados a miisica. A Teoria da Gestalt, em suas analises estru- 
turais, descobriu certas leis que regem a percepcao humana das formas, facilitando a compre- 
ensao das imagens e ideias. Essas leis sao nada menos que conclusoes sobre o comportamento 
natural do cerebro, quando age no processo de percepcao. Os elementos constitutivos sao agru- 
pados de acordo com as caracteristicas que possuem entre si, como semelhanca, proximidade 
e outras. O fato de o cerebro agir em concordancia com os principios Gestalticos ja poderia 
ser considerado a evidencia fundamental de que a Lei da Pregnancia e verdadeira. Sao estas, 
resumidamente, as Leis da Gestalt: semelhanca, proximidade, pregnancia, boa continuidade, 

clausura e experiencia passada. 

A reflexao sobre as estruturas sonoras numa performance musical a partir do estudo da 
percepcao com o olhar da gestalt, pode ajudar o compositor a estruturar um discurso intera- 
tivo. Segundo Schachter: 

Com o campo da interacao, a percepcao deve se tornar mais importante que a tec- 
nologia. Com isso em mente, estrategias composicionais que incluirem qualquer 
tipo de software para interacao deve evitar uma dependencia excessiva de plata- 
formas especificas de computadores. Ao inves disso, a percepcao da unidade da 
construcao e a manipulacao de diferentes niveis de controle em tempo-real e ran- 
domicidade ou niveis de organizacao aleatoria, deve permanecer nas maos do com- 
positor/performer... Eu gostaria de apontar tres abordagens principals ou referencias 
para essas ideias sobre o discurso baseado na percepcao: 

1. A ideia do criterio perceptual, baseado na teoria da Gestalt, comecando com 
Max Wertheimer e seguido por Marc Leman. 

2. A nova abordagem em relacao a percepcao na analise de cena auditiva por 
Albert Bregman. 

3. A Tipo-morfologia de Pierre Schaeffer no seu "Tratado dos objetos musicais", 
e a Espectromorfologia de Denis Smalley no livro "A linguagem da Miisica 
eletroacustica", editado por Simon Emmerson. (Schachter 2007) 

Marc Leman introduz um modelo que conecta processamento de sinal sonoro musical a 
analise musical e psicoacustica computacional onde interacao se torna um problema central 
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(Leman 1996). Ele afirma que a percepcao nao deve ser entendida estaticamente, sem evolucao 
temporal, mas como uma interacao evolutiva entre um organismo e um estimulo. 

Uma expansao desse pensamento pode ser visto nos autores da "neo-Gestalt" ao considerar 
a analise da percepcao baseado nos principios da Gestalt: 

• Proximidade 

• Similaridade 

• Boa continuidade 

• Encerramento 

• Destino Comum 

Essas ideias sao extendidas na nova analise considerando-se que existem dois niveis de resposta 
ou estagios do processo perceptual. 

• Automatico, instintivo e sem esforco; 

• Voluntario, aprendido e esforcado; 

A teoria da Gestalt pode facilmente ser criticada pelo fato de ser baseada na descricao do pro- 
cesso de percepcao e nao prover um modelo que explique como se forma ou como e constituida 
a percepcao humana, talvez os avancos das neurociencias possam colocar a prova elementos da 
percpecao sonora levantados pelos estudos da Gestalt. Apesar de nao existir um modelo com- 
plete que explique a percepcao sonora de maneira universal, alguns resultados dessas pesquisas 
podem ser uteis ao campo da composicao. Alguns conceitos advindos da pesquisa em percepcao 
sonora podem ser implementados ao sistema usados como parametros composicionais, como 
por exemplo direcionalidade, densidade, tensao e repouso, acumulacao, proporcao e relacoes 
diversas entre duracoes e ataques. Apesar de ser um campo de investigacao ainda recente, a pes- 
quisa em percepcao pode oferecer muitos elementos ao desenvolvimento de sistemas de musica 
interativa. 
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O projeto pdHive (Grahan 201 1) e um sistema que combina a construcao de hardware e soft- 
ware pra criacao de uma guitarra eletrica aumentada. O hardware consiste em um circuito com 
um transdutor piezoeletrico para cada corda da guitarra. O que possibilita que se possa realizar 
analise de audio em cada corda separada, gerando mais controle e precisao no mapeamento do 
gesto instrumental. 

O sistema opera atualmente sob a base do evento-nota, armazenando dados de 
altura e amplitude por corda para utiliza§ao com uma serie de abstracoes instru- 
mentais (predominantemente monofonicas) baseadas em teorias sobre cognigao, 
abordando contorno melodico e sintaxe de improvisacao (como conclusao linear, 
atracao melodica, tensao, assimetria e extrapolacao de notas sequenciais de even- 
tos (Lerdahl 2001)). Abstracoes de taxa de controle instrumental funcionam es- 
pecificamente para atender ao conteiido melodico apenas, sobre a quantificacao 
(e extrapolacao) de relacoes de atracao tonal entre os tons e a extracao de es- 
truturas hierarquicas de contorno melodico (por corda - solo, e para todo o re- 
gistro instrumental - global) em uma base de 4 a 7 notas, relativo a retricao da 
memoria de curto prazo (Snyder 2000). Dados baseados em cognicao podem entao, 
ser aplicados a processos de controle de parametros do timbre e espacializacao 
numa tentativa de refletir construcoes instrumentais baseadas na cognicao (con- 
siderando a memoria) dentro da estrutura sonora resultante, que potencialmente 
estabelece relacoes unicas de gesto instrumental dentro de um espaco instrumental 
fisico (multi-canal) 5 (Grahan 2011). 



5 "The system currently operates on a note-event basis, storing pitch and amplitude data per string for use with 
a series of (predominantly monophonic) instrumental cognition-based abstractions, concerning melodic contour 
and improvisatory syntax (such as linear completion, melodic attraction, tension, asymmetry and extrapolation of 
sequential note-events; cf. Lerdahl, 2001). Instrumental control-rate abstractions function specifically to attend to 
melodic content only, concerning the quantification ( and extrapolation) of tonal attraction relationships between 
tones and the extraction of hierarchical melodic contour structures (per string - solo; and for all instrumental regis- 
ters - global) on a 4 to 7 note basis, relative to short-term memory contraints (cf. Snyder, 2000). Cognition-based 
data may then be applied to timbral and spatial parametric control processes in an attempt to reflect instrumen- 
tal cognition-based constructs (in memory) within the resultant sound structure, potentially establishing unique 
performance gesture relationships within a physical (multi-channel) performance space." 
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Considero o sistema pd2live como um exemplo do estado da arte no desenvolvimento de 
sistemas interativos que usam conceitos abstraidos da pesquisa em cognicao como base para al- 
goritmos de criacao sonora por computador. A implementacao dos algoritmos depd2live e feita 
em Pd e alem de ter uma forte semelhanca com SInCoPA, abre um campo de possibilidades 
de fusao com outros projetos e diferentes aplicacoes. Entretanto, penso que existe uma lacuna 
nessa abordagem ao levar em conta apenas o aspecto das alturas executadas pelo instrumentista 
como base de dados para interacao homem-maquina. Nesse sentido SInCoPA apresenta uma 
metodologia de classificacao em tempo-real de aspectos como estabilidade ritmica, permeabili- 
dade melodica e densidade ritmica. O que permite que o sistema tenha uma base de dados mais 
completa sobre o comportamento musical global do instrumentista e portanto, maior capacidade 
de gerar uma estrutura sonora "organica" como resposta ao estimulo musical. 

Uma referenda importante para a organizacao e analise de material sonoro baseada na analise 
do audio e dos eventos sonoros e a Espectromorfologia exposta por Denis Smalley. Particular- 
mente os conceitos binarios de Nivel e Foco e Textura e Gesto, investigando sua relacao com o 
processamento ao vivo e com o dialogo interativo entre instrumentos e sons eletroacusticos. 

A ideia de Nivel e Foco tern a ver com interacao e o grau de organizacao aleatoria ou 
randomica envolvido. Nesse ponto Smalley diz que "..a nos precisa ser oferecido a possibi- 
lidade de variar nosso foco perceptual atraves de um registro de niveis durante o processo de es- 
cuta..". Para sobreviver a repetidas audicoes, uma obra deve possuir esse potencial focal. Uma 
musica mista para instrumentos tradicionais e eletroacustica, baseada numa estrutura aberta, 
nao deve confiar na habilidade do ouvinte para descobrir os detalhes pequenos e escondidos 
da composicao. A exploracao focal dos niveis estruturais deve permitir diferentes modos de 
conectar perceptualmente os materials sonoros com o mesmo discurso sonoro. 

De acordo com as palavras de Smalley (Emmerson 1986), "gesto" tem a ver com trajetoria, 
com a aplicacao de energia e suas consequencias; e e complementar a causalidade. O conceito 
de causalidade e essencial para qualquer tipo de projeto interativo e ira proporcionar os argu- 
mentos de um dialogo interativo onde ocorrencias e consequencias podem trocar seus papeis. 
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Score Excerpt from The Fold ability of Frames, violoncello, percussion, and interactive computer 
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Figura 2.1: Trecho da notacao da peca The Foldability of Frames de Kevin Patton 

Dentro de um trabalho eletroacustico interativo, Textura e Gesto estao em fluxo constante, um 
como consequencia do outro. 

Uma abordagem relevante da Espectromorfologia aplicada a composicao interativa e vista 
na peca The Foldability of Frames (Patton 2007) para violoncelo, percussao e computador que 
combina notacao musical tradicional e notacao espectromorfologica (figura 2.1. O diferencial 
e que a notacao espectromorfologica nesse caso e usada nao como uma descricao pictorica da 
analise, mas sim como ferramenta de organizacao dos sons eletronicos que dialogam com os 
sons instrumentais. O estado atual de SInCoPA permite que seja implementada uma abordagem 
semelhante ao combinar notacao musical tradicional (ainda experimental, descrita no apendice 
A.3) com recursos graficos interativos desenvolvidos na plataforma GEM. 



Capitulo 3 



Ferramentas e Processo 



Projetei o sistema apresentado neste trabalho (SInCoPA) para rodar em um computador com 
capacidade de processamento de audio em tempo-real. As abstracoes foram desenvolvidas com 
a linguagem de programacao Pure data acrescida de algumas bibliotecas contidas na distribuigao 
Pd-extended. Outras bibliotecas de codigo sao acrescentadas na medida em que estas permitam 
compatibilidade de versoes e portabilidade entre diferentes sistemas operacionais. 

Durante o processo de escolha das ferramentas computacionais, optei por usar apenas pro- 
gramas e linguagens de codigo aberto. Uma das vantagens de trabalhar com programas de 
codigo aberto e que existe uma comunidade descentralizada de pesquisadores e desenvolvedo- 
res compartilhando pesquisas e resultados. O que cria um ambiente propicio para testar, apontar 
solucoes e validar uma pesquisa como esta. 

Durante o desenvolvimento de SInCoPA, foram realizadas experimentacoes com prototipa§ao 
de interface para usuario, e diversos experimentos sonoros em estudio onde cada parte do sis- 
tema foi testada individualmente e em grupo. Nessa secao serao brevemente expostos os moti- 
vos pela escolha de determinadas ferramentas para o desenvolvimento dessa pesquisa. 
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3.1 Pd-extended 

O Pure data (Pd), foi a linguagem escolhida para o desenvolvimento dessa pesquisa. Existem 
diversas distribuicoes do Pd, sendo as mais utilizadas o Pd vanilla e o Pd-extended. A versao 
vanilla se refere ao nucleo da linguagem mantida pelo criador Miller Puckette, e no momento 
de escrita dessa tese se encontra na versao 0.43. Ja o Pd-extended conta com as contribuicoes 
da comunidade de desenvolvedores e usuarios, onde foram incluidas diversas extensoes para 
video, graficos, rede e novas funcionalidades para criacao musical. 

No atual momento, SInCoPA e construida dependendo do Pd-extended, porem, para o desen- 
volvimento futuro penso que o ideal seja que as abstracoes de SInCoPA dependam, apenas da 
versao vanilla. A desvantagem de usar a distribuicao Pd-extended e que a mesma depende de 
muitos outros componentes de software, tornando mais arriscada uma possivel compatibilidade 
da pesquisa com sistemas futures. 

A vantagem de manter um projeto compativel com a versao vanilla e que o codigo nao 
depende de bibliotecas externas ao proprio nucleo de desenvolvimento do Pd, o que garante 
maior compatibilidade futura. Outra vantagem e a portabilidade do codigo feito em vanilla 
para funcionamento com a libpd (Brinkmann 2012). A libpd permite que programas feitos em 
Pd sejam usados em projetos desenvolvidos com outras linguagens como C, Java, Python, por 
exemplo, e que seja portado para outros sistemas operacionais como Android e IOS projetados 
para rodar em telefones celulares e dispositivos moveis. 

As principals bibliotecas do Pd-extended que sao usadas em SInCoPA sao Unauthorized e 
GEM. A primeira apresenta o objeto [probalizer] que tem uma boa interface para manipulacao e 
calculo de probabilidades dinamicas. Enquanto que GEM e uma biblioteca para criacao grafica 
que pode ser usada como base para desenvolvimento de uma notacao integrada ou um motor 
de visualizacao dos dados da performance e composicao em tempo-real, como e mostrado no 
apendice A.3.2. 
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3.2 Bibliotecas externas de Pd 

Alem do Pd-extended, essa pesquisa, necessita de duas outras bibliotecas, sendo elas a PDMTL 
e DIY2. PDMTL e uma biblioteca de abstracoes de auxilio para criacao audiovisual e apresenta 
bons metodos de manipulacao de amostras e operacoes com listas. DIY2 e uma biblioteca de 
abstracoes de modulos de processamento de sinal de audio como delays, distorcoes, e phase 
vocoder. 

Tambem sao usados os objetos compilados em C [tabletool] e [timbrelD] (Brent 2009b). O 
objeto [tabletool] e usado para manipulacao e operacoes matematicas em arrays. A biblioteca 
[timbrelD] e uma serie de objetos para analise e estimativa de parametros do timbre. O desen- 
volvimento de SInCoPA levou em conta a compatibilidade de uso das abstracoes combinadas 
com outras bibliotecas em futures projetos. 

3.3 GNU/linux 

Durante toda a pesquisa, foi usado o sistema operacional GNU/Linux. As distribuicoes usadas 
foram Debian testing, Debian stable e Ubuntu LTS. Alguns motivos poderiam ser listados para 
justificar a escolha desse sistema operacional. 

Um motivo relevante e a possibilidade de personalizacao do sistema operacional para con- 
centrar o processamento nas partes necessarias ao funcionamento de SInCoPA. Nesse sentido 
o usuario de Linux pode escolher qual ambiente grarico e mais adequado e refinar a perfor- 
mance do processamento de audio e video atraves de escolha de parametros de funcionamento 
do kernel. 

Outro motivo importante e a visao de compatibilidade futura do trabalho. O usuario de Linux 
pode criar uma copia exata do sistema operacional completo, permitindo recriar a configuracao 
da pesquisa em outros computadores. O que tambem permite uma facil distribuicao do sistema 
desenvolvido nesse trabalho para outros artistas e desenvolvedores interessados. 
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Porem, gostaria de destacar a preocupacao pela coerencia de licencas de uso e distribuicao, 
entre as diversas partes que compoe a pesquisa. O objetivo desse trabalho e construir programas 
usando componentes de software que usem as licencas GPL, ou BSD. O codigo resultante de 
SInCoPA tambem e disponibilizado sob as especificacoes da licenca GPL, permitindo execucao, 
estudo, redistribuicao e aperfeicoamento do codigo fonte. 

3.4 Rosegarden e Lilypond 

Rosegarden e um programa de criacao e edicao musical que roda em GNU/linux. Possui diver- 
sas funcionalidades, mas nessa pesquisa e usado como sequenciador MIDI grafico, que recebe 
mensagens MIDI em tempo-real atraves do Jack. 

A vantagem e a possibilidade de editar graficamente o resultado do dialogo entre o audio 
do instrumento convertido em MIDI e o resultado dos algoritmos dos geradores MIDI e har- 
monizadores. O Rosegarden usa dois editores graficos, um em formato de piano-roll e outro 
em formato de notacao musical. Uma sequencia MIDI editada com o Rosegarden pode ser 
exportada para o formato .ly, que e o formato do Lilypond. 

Lilypond e uma linguagem de marcacao especializada em notacao musical. Segundo a 
definicao do proprio projeto: 

LilyPond e um programa de gravacao de musica, dedicada a producao a partitura da 
mais alta qualidade possivel. Ele traz a estetica da musica tradicional escrita para 
impressoes de computador. LilyPond e software livre e parte do Projeto GNU. 1 

O Rosegarden executa as sequencias MIDI usando um servidor de arquivos SoundFont. Um 
arquivo SoundFont, ou "banco" SoundFont, contem uma ou mais amostras de audio de onda, 
que pode ser re-sintetizados em alturas diferentes e niveis dinamicos. Cada forma de onda 
amostrada pode ser associado a um ou mais intervalos de notas e dinamica. De modo geral, 
a qualidade de um SoundFont banco e uma funcao da qualidade das amostras de digitals e 
da associacao inteligente de amostras com as series do campo apropriado. A qualidade da 



'Disponivel em: http://lilypond.org/ 



39 

soundfont tambem depende do numero de amostras tomadas por um determinado intervalo de 
notas. 

3.5 Jack 

JACK e um sistema para o tratamento em tempo real de audio de baixa latencia e MIDI. Ele 
roda em GNU / Linux, Solaris, FreeBSD, OS X e Windows (e pode ser portado para outras 
plataformas POSIX-conformant). E possivel conectar um numero de diferentes aplicacoes para 
um dispositivo de audio, bem como permitindo que eles compartilhem audio entre si como 
pode ser visto na figura 3.1. Seus clientes podem ser executados em seus proprios processos 
(ou seja, como aplicacoes normais), ou podem ser executados dentro do servidor JACK (ou seja, 
como um "plugin"). JACK tambem tern suporte para a distribuicao de processamento de audio 
atraves de uma rede, tanto LANs com conexao rapida e confiavel, bem como em WANs menos 
confiaveis e mais lentas. 

3.6 Git 

Git e um sistema de controle de versao distribuido, com codigo fonte livre e aberta, desenhado 
para lidar com qualquer projeto, com rapidez e eficiencia. Uma grande vantagem e a facilidade 
de colaboracao em desenvolvimento de codigo, onde outros desenvolvedores podem clonar o 
repositorio da pesquisa e realizarem "forks", ou desenvolvimentos paralelos. Isso cria uma 
situacao onde o resultado da pesquisa, em termos de programacao, se torna um elemento vivo 
dentro da comunidade de musicos e programadores interessados em computacao musical e 
musica interativa. 

Alem da possibilidade de facil manutencao de repositorios de codigo local, muitas empresas 
oferecem servicos de hospedagem gratuita de repositorios Git na internet. A escolha desse 
controle de versao se da pelo estimulo a cooperacao e continuidade dessa pesquisa para alem 
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Figura 3.1: Interface de conexao de processos do Jack 



do encerramento da tese, com a possibilidade de alguns resultados se proliferarem em outros 
projetos de pesquisa. 



Capitulo 4 



SInCoPA 



Na teoria musical, a sincopa e um acento rftmico resultante da execucao de som em um tempo 
fraco, ou parte fraca de tempo sendo prolongado ate o tempo forte, criando um deslocamento da 
acentuacao ritmica. Alem de SInCoPA ser a abreviacao de Sistema Interativo de Composicao 
Performance e Analise, o termo se encaixa no sentido poetico dessa pesquisa. Como uma 
metafora, signiflcando a busca de um gesto musical nao determinado pela notacao ou por uma 
pre-configuracao de software que determine de forma dominante a narrativa musical. 

Nesse capitulo serao expostas as abstracoes desenvolvidas para o sistema, como tambem os 
prototipos e programas auxiliares desenvolvidos para explicar o uso correto das abstracoes apre- 
sentadas. O conjunto de abstracoes cumpre funcoes basicas necessarias a projetos de musica 
interativa que relacionem analise de audio e geradores musicais baseados nos dados da analise 
do audio de entrada em tempo-real. Como e um sistema em continuo desenvolvimento, mui- 
tos patchs mostrados apresentam experimentos ou apontam elementos e ideias para futuras 
implementacoes . 

Foi desenvolvida uma biblioteca de funcoes utilitarias em forma de abstracoes, tornando facil 
seu re-uso em outros projetos. As abstracoes se dividem em 6 categorias: 

1 . Analise de audio de entrada em tempo-real; 
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2. Geradores MIDI baseados no comportamento do audio de entrada, com variacoes de 
controle, indo da mimese do sinal de entrada ate um grau mais elevado de contraste 
rftmico e melodico; 

3. Geradores de sintese sonora, tambem baseados no comportamento do audio de entrada 
com diversos niveis de controle; 

4. Modulos de processamento de sinal, usados no audio de entrada e no audio gerado pela 
comunicacao MIDI; 

5. Visualizador de notacao musical do audio de entrada e de saida; 

6. Cenarios de comportamentos interativos e Mixer de volumes responsivo; 

Algumas abstracoes sao maiores e com funcionalidade mais geral, enquanto que outras sao 
bem menores e mais especificas. Uma composicao musical utilizando SInCoPA, consiste na 
concatenacao de regras que coordenam os comportamentos das varias partes envolvidas. Esse 
conjunto de regras foi denominado de "cenario". Na composicao de um cenario o compositor 
escolhe, por exemplo, se determinado gerador deve ter um comportamento complementar ou 
contrastante em relacao a algum parametro de analise. 

4.1 Analise de audio 

Nessa secao serao apresentados os problemas e solucoes especificos a analise de audio. 

E importante a flexibilizacao de parametros para facilitar o trabalho de calibragem para 
deteccao e analise de fluxo de audio. Tambem e importante a possibilidade de salvar os da- 
dos das analises e essa possibilidade deve ser destacada nas interfaces dos objetos de analise. 

A interface grafica dos objetos preve visualizacao em tempo-real da atividade no modulo de 
analise e botoes descritos para controle de parametros diversos. 
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Figura 4. 1 : Objeto de analise de audio [sinc-analise] 

Um dos primeiros objetos desenvolvidos para analise e o [sinc-analise], mostrado na figura 
4.1 que faz analise de fundamental e amplitude de ataque de cada nota. Esses dois parametros 
sao colocados em uma lista, juntamente com a indica§ao de qual sample (localiza§ao) a lista se 
refere e sao escritos em um arquivo de texto, podendo ser salvo em disco. 

4.1.1 Entrada de audio 

Um elemento importante na interface e a visualizacao instantanea do fluxo de audio. Aqui na 
figura 4.2 apresentamos uma solucao pratica e podemos ver uma outra abordagem na figura 4.3 
baseada em analise FFT. 

Objeto [sinc-audioin] 



A entrada de audio no pd comeca com o objeto [adc~], e sempre segue um fluxo basico que 
passa por um objeto de multiplica§ao de sinal [*~] que permite um controle manual de entrada 
de audio. Esse controle e necessario para ajustar a sensibilidade dos objetos que realizarao a 
analise de audio. A abstracao [sinc-audioin] na figura 4.2 permite o roteamento e visualizacao 
rapida de entrada de audio de dois canais. No caso dos experimentos musicais envolvidos nessa 
pesquisa, foi estabelecido o canal 1 para o recebimento de audio do programa Rosegarden, que 
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Figura 4.2: Entrada de audio [sinc-audioin] 

hospeda samplers do tipo soundfont. O canal 2 e usado para a entrada de audio do instrumento. 
E necessario um objeto que funcione como uma chave de liga/desliga para o audio. Para isso 
foi usado o objeto [spigot-] da biblioteca Unauthorized incluida no pd-extended. Quando o 
toggle([tgl]) e acionado com clique de mouse, ele envia o valor 1 pela saida que por sua vez 
esta conectado na entrada fria do [spigot-], essa acao faz com que o audio seja liberado pela 
saida do [spigot-]. Os volumes de entrada sao controlados por objetos graficos sliders ([hsl]), 
que tem a saida ligada a uma variavel de parametro para o objeto [line-]. Nesse caso especifico 
[line-] atua no sentido de se evitar cliques no audio quando se muda o valor de amplitude que 
e enviado a entrada fria do objeto [*-]. Outro componente opcional, que e util em situacoes 
praticas, e um visualizador grafico de presenca de sinal de audio. Em [sinc-audioin] e usado o 
objeto [Scope-] da biblioteca cyclone, incluida no pd-extended. 

Objeto [sinc-fft] 



A abstracao [sinc-fft] mostra graficamente uma janela de analise FFT com bloco de amostra- 
gem definido por [block-] em 1024. O que significa que o objeto [rfft~], ira retornar valores 
encontrados de amplitude e fase para 512 frequencias multiplas de 43 Hz, que e a frequencia 
resultado da taxa de amostragem (44100) dividida pelo tamanho do bloco (1024). 

A amplitude de cada parcial e retornada em pares reais e imaginarios descritos em coordena- 
das polares. Podemos calcular as amplitudes convertendo as coordenadas do sistema polar para 
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Figura 4.3: Visao interna de [sinc-fft] 
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Figura 4.4: Exemplo de uso de [sinc-fft] 



cartesiano atraves da raiz quadrada aplicada a soma do valor real e imaginario elevados, cada 
um, a propria potencia. Isso pode ser feito no Pd com os objetos [*~] localizados abaixo de 
[rfft~] realizando a potencia e enviando o resultado simultaneamente para o objeto [sqrt~] que 
opera a raiz quadrada. 

O objeto [clip-], com os argumentos e 1 apenas filtra os valores negativos para uma melhor 
visualizacao grafica. 

A presente abstracao e muito util em situacoes de filtragem de entrada de audio em tempo- 
real, principalmente quando utilizados microfones condensadores que sao muito sensiveis. A 
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visualizacao da analise FFT no array permite que se tenha uma boa medida na parametrizacao 
de filtros. Como e o caso do exemplo na figura 4.4. Onde a entrada de audio passa por um 
filtro de audio [bp~]. O filtro implementado em [bp~] deixa passar uma senoide ao redor da 
frequencia central enquanto as outras frequencias sao atenuadas de acordo com o fator "Q" J . 
Na entrada da esquerda e conectado o sinal de audio, na entrada do meio e definida a frequencia 
central e na entrada da direita se controla o fator "Q". O resultado da filtragem e enviada para 
[sinc-fft] onde pode-se ter uma maior precisao na filtragem atraves da comparacao grafica. 

4.1.2 Manipula^ao de amostras 

Dentro do contexto de laboratorio de prototipacao, se faz necessario emular uma entrada de 
audio em tempo-real com a execucao de trechos de audio sampleados ou um sintetizador sim- 
ples com entrada de notas pelo teclado alfa-numerico do computador. Nesse sentido foram 
construidas algumas abstracoes para facilitar o processo de desenvolvimento e teste. 

Objeto [sine-sample] 

A primeira a ser desenvolvida foi a abstracao [sine-sample] mostrado na figura 4.5. Para essa 
abstracao foi escolhida a abstracao grafica [file.browser] na area 1 circulada na figura 4.5 que 
le os arquivos de determinado diretorio e os lista eles graficamente possibilitando que o usuario 
clique no nome do arquivo escolhido, resultando em uma mensagem com a localizacao do 
arquivo. Essa abstracao faz parte do pacote "pdmtl" de abstracoes de pd. A execucao do audio 
e feita com o objeto [readsf-] que precisa de tres mensagens: start, stop e localizacao do arquivo. 
O mecanismo grifado na area 2, mostra um objeto [trigger] ([t]) realizando uma tarefa em 3 fases 
da direita para a esquerda: 

• Aciona a mensagem com o caminho do arquivo a ser tocado 

• Aciona a mensagem "start" 



'Para uma explicagao completa sobre o fator Q : http://en.wikipedia.org/wiki/Q-factor 
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Figura4.5: [sine-sample] 
• Recarrega a mensagem que atualiza o diretorio a ser lido por [file. browser] 

Outro aspecto dessa abstracao e a possibilidade de tocar um arquivo de audio em loop. Na 
area circulada 4 temos um [spigot] que atua como interrupter de um bang enviado pela saida 
direita de [readsf-], que por sua vez e enviado quando [readsf-] acaba de ler o arquivo inteiro. 
Se o toggle que esta conectado com o [spigot] da area 4 estiver ligado, ele permite que o bang 
enviado ao final da leitura seja roteado para outro objeto trigger que aciona as duas primeiras 
fases descritas acima, realizando uma leitura continua do arquivo de audio escolhido. 

4.1.3 Analise melodica 



Existem diversos problemas de pesquisa relacionados com a analise melodica como por exem- 
plo: 
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• Deteccao de notas; 

• Estimativa de nota; 

• Conversao de fluxo de audio em dados semanticos (MIDI); 

• Permeabilidade melodica; 

• Analise de contorno e direcionamento melodico; 

Objeto [sinc-audioanalise] 

Um dos fatores mais importantes para a pratica de analise melodica em tempo real e a flexi- 
bilidade de rerinamento dos parametros de analise. Esses parametros devem estar ao alcance 
rapido e documentados e sinalizados na interface. 

O objetivo e reunir num so modulo, a deteccao de ataques de notas (baseado no objeto 
[bonk-]) com a analise de frequencias baseada no objeto [sigmund-], e ainda ligando o re- 
sultado das analises com objetos de conversao MIDI. 

Nessa abstracao procurou-se desenvolver uma interface que facilite a rapida prototipacao e 
flexibilidade de parametros que podem se adaptar facilmente para diferentes fontes sonoras. 

Como podemos ver na area 1 da figura 4.6, temos o controle de um slider vertical 2 contro- 
lando a amplitude geral do audio de entrada. Esse controle e muito importante em situacoes em 
que se tern variacoes de amplificacao entre ensaios e performance. 

Na area 2 aparece um subpatch que pode ser visto na figura 4.7. Nesse subpatch podemos 
ver a organizacao dos parametros do objeto [sigmund-]. 

O objeto [sigmund-] faz analise de audio no dominio da frequencia e deteccao de notas. Os 

parametros podem ser re-definidos em tempo-real atraves dos argumentos de criacao do objeto 

ou atraves de mensagens como e o caso aqui. 

Segundo a documentacao no proprio manual do objeto: 



2 objeto [hslider] 
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Figura 4.6: [sinc-audioanalise] 



Sigmund-analisa um audio de entrada atraves de componentes senoidais, que po- 
dem ser retornados individualmente ou combinados para retornar uma estimativa 
de altura. Saidas possiveis sao especificadas como argumentos de criacao: 

• pitch - saida constante 

• notes - retorna a altura no comeco das notas 

• env - retorna amplitude continuamente 

• peaks - retorna todos picos senoidais em ordem de amplitude 

• tracks - retorna picos senoidais organizados em faixas separadas 

Parametros que voce pode definir (no argumentos de criacao do objeto ou em men- 
sagens): 

• npts - niimero de pontos em cada janela de analise (1024) 

• hop - niimero de pontos entre cada analise (512) 

• npeak - niimero de picos senoidais (20) 

• maxfreak - maxima frequencia senoidal em Hz. (1000000) 

• vibrato - profundidade de vibrato a ser esperado em semitons (1) 

• stabletime - tempo (mseg) para esperar para reportar notas (50) 

• minpower - minima amplitude (dB) para retornar uma altura (50) 
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npts - numero de pontes em cada janela de analise (1024] 

hap - numero de pantos entre cada analise (512) 

npeak - numero de "picos" senoidais (20) 

maxfieq - maxima frequencia senoidal em Hz (1000000) 

vibrato - prof undidade de vibrato a sen: esperado em semitons (1) 

stabletime - tempo (msec) para esperar para reportar notas (50) 

manpower - potencia minima (dB) para reportar classe de notas [.50] 

growth - evolucao de amplitude (dB) para reportar uma nota nova (7) 



Figura 4.7: sub-patch que controla as configuracoes de [sigmund-] 



• growth - crescimento de amplitude (dB) para retornar uma nova nota (7) 

Os parametros npts e hop sao em numero de amostras, e sao definidos como potencias 
de dois. 3 



Sigmund- analyzes an incoming sound into sinusoidal components, which may be reported individually or com- 
bined to form a pitch estimate. Possible outputs are specified as creation arguments: 

• pitch - output continuously 

• notes - output pitch at the beginning of notes 

• env - output amplitude continuously 

• peaks - output all sinusoidal peaks in order of amplitude 

• tracks - output sinusoidal peaks organized into tracks 

Parameters you may set (in cretaion arguments or messages): 

• npts - number of points in each analysis window (1024) 

• hop - number of points between each analysis (512) 

• npeak - number of sinusoidal peaks (20) 

• maxfreak - maximum sinusoid frequency in Hz. (1000000) 

• vibrato - depth of vibrato to expect in 1/2 tones (1) 
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Intervalo entre janelas de analise (hop) 

Figura 4.8: Tamanho de janela de analise (npts) 



outlet 1993 by Karlheinz Essl 



Figura 4.9: [round] 

Nesse caso optou-se por pre-inicializar [sigmund-] com as opcoes : "-hop 4096 pitch notes" 
. Atraves de testes empiricos preferiu-se usar apenas a saida de "notes" por apresentar uma 
saida mais precisa para notas musicais. A mensagem em destaque na figura 4.7 representa a 
inicializacao dos valores de todos parametros de [sigmund-]. 

Os principals parametros definem o tamanho da janela de analise. Nesse caso "npts" e "hop" 
tern uma relacao direta por se tratar do tamanho da janela de analise e o espaco entre as janelas 
em samples como pode ser visto na figura 4.8. 



• stabletime - time (msec) to wait to report notes (50) 

• minpower - minimum power (dB) to report a pitch (50) 

• growth - growth (dB) to repor a new note (7) 

The npts and hop parameters are in samples, and are powers of two. 
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Figura4.10: [pitch] 
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Figura 4.11: editando objeto canvas ([cnv]) 



Na area 3 vemos o objeto [round], presente na biblioteca RTC, responsavel por arredondar o 
valor de entrada para cima. O arredondamento e feito com a soma de 0.5 e transformacao do 
niimero do tipo float para tipo inteiro ([int]), como pode ser visto na figura 4.9. 

O objeto [pitch] pertence a biblioteca maxlib, distribuida junto com o pd-extended e sua 
funcionalidade pode ser vista no proprio help do objeto na figura 4.10. A interface grafica 
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Figura 4.12: Metodos de analise de amplitude 

de [sinc-audioanalise] mostra o pitch da nota detectada em tempo-real. A visualizacao e feita 
com o objeto canvas ([cnv]). A segunda saida do objeto [pitch] retorna um simbolo com a 
cifra e oitava da nota. Esse simbolo e enviado para o canvas com o metodo "label" atraves da 
variavel $0-nota. O objeto canvas aceita variaveis enviadas com o objeto [send], editando as 
propriedades do canvas (ver figura 4.11). A visualizacao em tempo-real e indispensavel para 
calibrar a analise de audio. 

Na area 4 vemos o objeto [bonk~], desenvolvido para detectar ataques de notas. Segundo 
Puckette: 



O objecto bonk faz filtragem com limite Q de um som de entrada e pode produzir a 
analise crua ou detectar inicios que pode entao ser comparado com um conjunto de 
modelos espectrais conhecidos a fim de adivinhar qual dos varios tipos possiveis de 
ataque que ocorreu. 

Os objetos fiddle e bonk sao de baixa tecnologia, seria facil para re-escrever os 
algoritmos em outra linguagem ou ambiente. Nossa principal preocupa§ao e atingir 
comportamento aceitavel e previsivel e o usando tecnicas faceis de entender que 
nao vao exigir uma carga computacional inaceitavel em um computador moderno 4 . 
(M., T., e D. 1998) 



4 The bonk object does a bounded-Q fillterbank of an incoming sound and can either output the raw analysis or 
detect onsets which can then be compared to a collection of known spectral templates in order to guess which of 
several possible kinds of attack has occurred. 

The fiddle and bonk objects are low tech; the algorithms would be easy to re-code in another Ian- guage or 
for other environments from the ones consid- ered here. Our main concern is to get predictable and acceptable 
behavior using easy-to-understand tech- niques which won't place an unacceptable computa- tional load on a 
late-model computer. 
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No Pd, outros objetos possibilitam a analise da amplitude, na figura 4.12 vemos 3 metodos. 
O objeto [env~] retorna o valor de amplitude de um sinal em RMS. O objeto [sigmund-] pode 
mapear a amplitude com a opcao "env". 

Ainda Puckette, aponta as vantagens de usar [bonk~] em vez de outros metodos. 

A aplicacao mais satisfatoria desta analise esta na deteccao de ataques de percussao. 
A forma mais popular de fazer isso e usar um analisador de envelope e olhar para o 
rapido aumento na amplitude, mas qualquer tipo de toque pode definir sequencias 
de ataques indesejados, ou ao contrario, pode mascarar ataques verdadeiros. A 
analise utilizada por bonk muitas vezes pode detectar ataques novos que aparecem 
como afiadas mudancas relativas no espectro sem qualquer acompanhamento na 
mudanca na amplitude global; reciprocamente, os instrumentos musicais nao cos- 
tumam mudar o espectro rapidamente e, portanto, nao atraem a atencao de bonk 5 . 
(M., T., e D. 1998) 

A biblioteca Aubio de Paul Brossier tambem contem um objeto especializado em detectar 
ataques de audio [aubioonset-]. 

Na area 5 vemos o objeto [env~]. Esse objeto recebe um sinal de audio e retorna a ampli- 
tude RMS em decibeis (com o valor 1 normalizado para 100 dB). A saida tern o limite inferior 
em zero. O algoritmo de analise interna de [env~] usa uma janela de analise do tipo "Han- 
ning"(raised cosine). Uma boa aplicacao de [env~] e enviar o resultado da saida para o objeto 
[dbtorms] que transforma os valores em decibeis em uma escala linear, que e uma distribuicao 
melhor para visualizacao grafica da variacao de amplitude. 

Na area 6 vemos um subpatch responsavel por detectar silencio. Na figura 4.13 

Nesse sub-patch vemos 4 sub-areas. Nessa implementacao esta sendo usada apenas a terceira 
saida que e a saida do modulo de deteccao de silencio. O modulo da sub-area 3 basicamente 
compara as amplitudes que recebe com relacao ao tempo. Nesse algoritmo, se a amplitude de 
entrada for menor que 45 dB durante mais de 100 milisegundos um silencio e detectado. 



5 The most satisfying application of this analysis is in detecting percussive attacks. The most popular way of 
doing this is to use an envelope follower and look for rapid rises in follower output; but any kind of ringing can 
set o trains of unwanted attacks, or op- positely, can mask true attacks. The analysis used by bonk can often detect 
new attacks which appear as sharp relative changes in the spectrum without any accompanying large change in the 
overall power; con- versely, ringing instruments don't often give rapidly changing spectra and hence don't attract 
bonk's at- tention. 
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Figura 4.13: sub-patch que detecta silencio no audio de entrada 
Contorno Melodico 

As operacoes com contornos sao uma ferramenta poderosa para composicao musical (Sampaio 

2008). A manipulacao de contornos pode ser aplicada a qualquer parametro musical. No Pd, 

qualquer dado pode facilmente escrito e lido em arrays graficos. Ainda com a possibilidade de 

se desenhar no array com o mouse, podemos dizer que programar/compor no Pd cria uma forte 

sinestesia visual - sonora, semelhante a escrita com notacao musical tradicional. 
Segundo Silva 

O estudo de contornos e importante porque, assim como conjuntos de notas e mo- 
tivos, contornos podem ajudar a dar coerencia a uma obra musical. Eles represen- 
tam estruturas musicais manipulaveis atraves de varias operacoes como inversao e 
retrogradacao, e podem ser abordados tanto do ponto de vista da analise quanto da 
composicao. 



(Sampaio 2008). 
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Figura 4.14: Patch mostrando um contorno e sua forma normal 



Iremos mostrar algumas maneiras como observar, guardar e comparar contornos de modo 
que possam ser uteis na construcao de um dialogo interativo. 

Dentro dessa pesquisa, as operacoes com contornos servem a analise do material musical, 
de onde podemos extrair informacoes da performance. E tambem como geradores de material 
musical, aplicando operacoes diversas, como veremos na secao 4.3.3. A primeira operacao para 
analise de contornos e a reducao para a forma normal. Segundo Silva: 

A forma normal de um contorno ocorre quando seus elementos aparecem em ordem 
temporal de ocorrencia, e com valores definidos de (menor valor) a n — 1 (maior 
valor), onde n representa o numero de elementos do contorno . A operacao de 
translacao aplicada a um contorno retorna a sua forma normal (Marvin e Laprade 
1987, p. 228). Esta operacao consiste em redefinir o elemento de menor valor para 
0, o segundo elemento de menor valor para 1, o terceiro para 2, e assim por diante. 
Por exemplo, o contorno P(5 9 6 8) tern forma normal F(0 3 1 2), pois P0 , elemento 
de menor valor, e redefinido para 0, P2 , segundo elemento de menor valor, para 1, 
P3 , terceiro de menor valor, para 2, e PI para 3. 
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Figura 4.15: Operacao de reducao de um contorno a sua forma normal 



No Pd, podemos ver um patch que faz a reducao do contorno a forma prima na figura 4.14. 
Nesse patch, o array "contorno .original", tem oito elementos, variando de a 127 podendo 
ser alimentado pelo valor de pitch de um fluxo MIDI. A forma normal e calculada dentro do 
sub-patch [pd function contorno normal], e apos o calculo o resultado e escrito no array abaixo 
"contorno .normal" . 

Na figura 4.15 vemos a operacao de reducao a forma normal. Onde primeiro e feito uma 
leitura do array original com [until] e [tabread]. Apos a leitura e calculado o valor minimo e 
maximo com o objeto [list-minmax] e os dois valores sao enviados com as variaveis globais [s 
min] e [s max]. 

O mapeamento dos valores e feito de forma linear, usando o patch mostrado na figura A.6. 
Nesse caso, o menor valor ira equivaler a zero e o maior valor equivaler a oito, que e o numero 
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Figura 4.16: Experimento de analise de similaridade de contornos baseado em banco com 3 
modelos 



de elementos do array. Ao final ainda os valores sao convertidos para valores inteiros, antes de 
serem escritos no array de resultado. 

A analise da similaridade entre contornos e uma ferramenta importante dentro de um sistema 
de composicao interativa, pois pode revelar emergencia e dissolucao de padroes de execucao 
e improvisacao. Existe uma crescente bibliografia sobre analise de similaridade de contornos, 
como no artigo "Testing models of Melodic Contour Similarity" (Schmuckler 1999), onde o 
autor expoe e compara diversos modelos de analise, tanto baseados em teoria musical, quanto 
em modelos abstraidos de experiencias em cognicao musical. 

A devida analise de similaridade de um contorno melodico deve levar em conta todos aspec- 
tos envolvidos como o timbre, relacoes de duracao e intensidade de cada ponto do contorno. 
Apesar da estimativa de similaridade de contornos ser um objeto de pesquisa vasto e com- 
plexo, consideramos que abordagens mais simples podem ser uteis no desenho de um sistema 
de composicao interativa. Apresentamos aqui um primeiro experimento de analise de simila- 
ridade, aplicado em contornos de apenas tres elementos. A ideia e que alimentar um banco 
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Figura 4.17: Patch que calcula o indice de similaridade entre contornos 

com tres contornos estocados e a cada novo contorno que chega, o sistema devolve o indice do 
contorno estocado mais similar. A interface do experimento pode ser vista na figura 4.16. A 
primeira etapa do experimento e a reducao de todos os contornos a forma normal. 

Na figura 4.17 vemos o interior do sub-patch [pd choice]. Onde os tres contornos na forma 
normal sao enviados ao objeto [choice], cada um precedido da mensagem "add". A cada lista 
que chega em [choice], o objeto retorna o valor da lista estocada que mais se aproxima. 

O objeto [choice] estoca uma lista de vetores, cada um podendo ter ate dez elementos. 
Quando mandamos uma nova lista de numeros, e retornado o indice do vetor conhecido que 
se combina mais proximamente com a nova lista. A qualidade da combina§ao e o produto in- 
terno dos dois vetores apos outra normalizacao interna. O vetor que tern a direcao mais proxima 
da lista/vetor de entrada ganha e seu indice e enviado para a saida. Esse objeto pode ser usado 
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Figura 4.18: Patch que calcula o indice de permeabilidade melodica em fluxo melodico 

em diversas outras situacoes de analise em tempo-real e sua interface simples possibilita uma 
rapida prototipacao. 

Um aprofundamento da pesquisa em contornos necessita uma implementacao de identificacao 
mais completa, como por exemplo, uma implementacao de redes neurais artificials, alem de re- 
visao e teste dos modelos analiticos citados na bibliografia da area. Nessa pesquisa, a proxima 
etapa sera a integracao da analise de contorno com os mecanismos de geracao de material mu- 
sical. 

Permeabilidade melodica 



Uma das caracteristicas de um sistema interativo e a capacidade do sistema de emular tecnicas 
composicionais e responder "compondo" em tempo-real a estimulos musicais provindos de 
musicos humanos. Para isso deve-se implementar no sistema tecnicas de composicao que se- 
jam a maneira como o sistema "percebe" e responde aos estimulos. Nesse sentido o conceito 
de "permeabilidade" de alturas (Ligeti 1958) pode ser um conceito muito util se aplicado aos 
parametros de analise das alturas pelo sistema. 

A tendencia geral conduz, entao, para a insensibilizacao da fisionomia dos inter- 
vals. Sucessoes de tons e superposicoes verticals tornam-se, em grande escala, 
indiferentes frente aos intervalos dos quais provem; conceitos como consonancia 
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Figura 4.19: Patch que ananlisa a ocorrencia de uma classe de nota em uma lista de classes de 
notas 

e dissonancia se tornam irrelevantes: tensoes e distensoes podem ser obtidas com 
qualidades estatisticas da forma, como relacao de registros, densidade ou tipos de 
tecido das estruturas [...] A perda da sensibilidade perante os intervalos conduz a 
um estado que poderiamos chamar de permeabilidade. Isso significa que estruturas 
de diferentes qualidades que transcorrem simultaneamente podem interpenetrar-se 
e mesmo dissolver-se completamente mudando apenas as relacoes de densidade 
horizontal e vertical, sendo indiferente, em principio, quais intervalos se cruzam 
em detalhe [...] Embora a permeabilidade nao tenha tido, ate o momento, nenhuma 
influencia decisiva sobre a forma, nao era desconhecida nos estilos musicais anti- 
gos. Quem teve o grau mais baixo de permeabilidade ate agora talvez tenha sido 
Palestrina, em cuja miisica vozes simultaneas, reguladas por leis expressas univo- 
camente, enrolavam-se umas na outras. As possibilidades de combinacoes interva- 
lares, fortemente fixadas, nao permitiam a menor ambigiiidade no transcurso das 
estruturas; portanto, as relacoes entre dissonancia e consonancia estavam tratadas, 
naquele estilo, com o maior cuidado. (Ligeti 1958) 



Ligeti fala aqui sobre uma permeabilidade dos intervalos de altura, pode-se pensar em am- 
pliar, e implementar no sistema, esse pensamento de permeabilidade para conceitos como per- 
missividade evolutiva,como por exemplo, a permissividade de emergencia de estruturas deriva- 
das do material da propria analise do timbre do audio de entrada. Outro exemplo poderia ser 
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a emergencia de certos comportamentos contrastantes em trechos isolados do material. A per- 
meabilidade de alturas pode ser um parametro de analise das alturas de uma performance em 
tempo-real. Outra possibilidade de aplicacao pode ser o controle geral da permeabilidade de 
alturas, tendo o sistema a capacidade de classificar a porcentagem da permeabilidade envolvida 
em cada tree ho. 

A insensibilidade frente aos intervalos e a grande permeabilidade e ainda mais im- 
portante na musica de Cage e seu circulo, proveniente de principios totalmente dife- 
rentes. Existem obras de Cage que podem ser executadas tanto isoladamente quanto 
de forma simultanea com outras partituras onde, entao, cada peca se transforma em 
capa de uma possivel superposicao que, se bem sera mais densa que suas compo- 
nentes, nao esta composta de forma diferente delas. A indiferenca de tais estrutu- 
ras, resultado de manipulates com o acaso, esta estreitamente relacionada com a 
indiferenca dos produtos automaticos da musica serial primitiva. Essa indiferenca 
tende tambem, por sobre as relacoes intervalares, para uma ampliacao das outras 
dimensoes musicais. Uma vez eliminadas as relacoes hierarquicas, afrouxadas as 
pulsacoes metricas simetricas, transposto os graus de duracao, de intervalos e de 
timbre das distributes seriais, torna-se cada vez mais dificil controlar os contras- 
tes. (Ligeti 1958) 

O objeto [sinc-permeabilidade] apresenta um primeiro estudo sobre o calculo da permeabili- 
dade melodica aplicada em composigao interativa. A ideia e verificar a presenca de um valor de 
classe de nota em uma lista de valores dinamicos. Na figura 4.18 podemos ver um [inlet classe 
de nota] que envia o mesmo valor para o array [$0-nota] e para a abstracao [colecao_vs_pitch]. 
O array [$0-nota] coleciona as ultimas seis classes de notas e envia uma lista com todos os va- 
lores atraves da variavel [send lista_pitch]. Na figura 4.19 podemos ver a estrutura da abstracao 
[colecao_vs_pitch] que verifica a ocorrencia da atual classe de notas dentro das ultimas seis 
classes passadas. O resultado e enviado para o contador [counter] e quanto mais notas "novas" 
surgem, maior e o indice de permeabilidade melodica. 

Podemos pensar no conceito de permeabilidade como uma tecnica composicional que pode 
ser quantificavel, portanto passivel de ser implementada em um programa de computador e agre- 
gada ao sistema que aqui se propoe. Esse conceito pode ser aplicavel aos outros parametros do 
som e radicalizando esse pensamento podemos pensar no ato composicional como um controle 
dinamico entre diversos niveis de permeabilidade em todos parametros do som. 
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4.1.4 Analise ritmica 

Se considerarmos que um evento sonoro pode ser descrito por um espaco multidimensional 
onde cada parametro seria uma dimensao (notas, registros, timbre, etc..), podemos imaginar o 
ritmo como uma outra multidimensao paralela e sincronizada com as outras. O aspecto ritmico 
de um evento sonoro pode ser descrito por: 

• relacoes de duracoes entre ataques de notas; 

• relacoes de acento (amplitude) entre ataques de notas; 

• densidade de eventos em recortes de tempo; 

• descricao de indices de estabilidade em diferentes recortes temporais; 

Todos esses niveis se entrecruzam para formar um cenario que pode explicar mais detalha- 
damente os elementos ritmicos de um evento sonoro. O objetivo dessa secao e apresentar o 
desenvolvimento de ferramentas para a analise das multiplas camadas de descricao do ritmo. 

Objeto [sinc-calc-ritmo] 

Uma das questoes perseguidas e o fato do sistema ter conhecimento do atual nivel de estabi- 
lidade ritmica. Isso pode ser alcancado por uma relacao que considere variacoes de pulso e 
alternancia e variacoes de padroes ritmicos de tamanhos diferentes. 

Na fgura 4.20 sao mostrados dois arrays, idealmente esses arrays representam tabelas de pro- 
babilidades de padroes ritmicos, onde cada elemento no array representa um padrao diferente 
e quanto mais alto significa que teve mais ocorrencias. Por exemplo, cada vez que um deter- 
minado padrao de 4 valores de duracao e tocado, o indice na tabela correspondente a aquele 
padrao e incrementado. O objetivo ideal e um mecanismo que possa retornar uma resposta do 
tipo: "o array 1 e mais estavel que o array2". Apenas olhando fica facil de identificarmos no 
array 1 que os padroes 3 e 5 tern mais probabilidade de ocorrer pelo seu historico, contribuindo 
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Figura 4.20: analise de estabilidade ritmica 

assim para uma sensacao de estabilidade ritmica. Enquanto que o array2, tern probabilidades 
proximas de quase todos padroes criando uma sensacao de imprevisibilidade e fragmentacao. 

No patch da 4.21 e apresentado um metodo de classificacao de estabilidade de sequencia de 
pulsos. Primeiro sao calculadas as distancias entre cada ataque sonoro, depois filtrado em [pd 
filter-range] e colocado em uma tabela dinamica em [pd last-x]. 

Nas figuras 4.22 e 4.23, podemos ver a constituicao interna dos sub-patchs [pd filter-range] 
e [pd last-x]. O tamanho da tabela sempre pode ser redimensionado em tempo-real atraves 
da variavel 0-buffer-size entao e calculado ao mesmo tempo a media geometrica e a media 
aritmetica e os resultados sao executados na expressao definida por uma divisao da media 
geometrica pela media aritmetica. Ao resultado dessa divisao e aplicado um filtro com [mo- 
ses] onde se pode calibrar a sensibilidade do valor do indice final. 

A tecnica basica de analise ritmica em Pd, se da atraves do uso do objeto [timer]. O objeto 
[timer] mede a distancia em milisegundos entre "bangs' que chegam pela entrada da esquerda 
em relacao ao que chega pela entrada da direita. 
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Figura 4.21: analise de estabilidade ritmica 




^ filtro de registro musicalmente viavel (Handel, 1989) 



[outlet reset timer da qui 



Figura 4.22: filtro de registro de duracoes 



66 




muda_tajnanhc3 



t t Id primeiro reseta (Id) , depois delimita novo tamanho da 

liatatf J ■ 



A saida da direita e r esponsavel por primeiro preencher a 
lista . 

Saida da esquerda entao deisa apenas a lista menoi passar. 



Figura 4.23: lista de duragoes 




Figura 4.24: media geometrica 



Um instrumentista sempre realiza micro-variacoes de tempo e andamento. Na figura 4.25 
vemos uma incidencia de ataques mantendo uma relacao de estabilidade de duracoes, enquanto 
que na figura 4.26 vemos uma relacao mais instavel entre as duracoes. Ja na figura 4.27 vemos 
um padrao que se mantem estavel e muda para um comportamento de instabilidade de duracoes. 
Um dos desafios da pesquisa foi estabelecer uma forma do programa conseguir classificar a 
estabilidade de cada nova duracao em relacao as anteriores. 

No patch da figura 4.21 e apresentado um metodo de classificacao de estabilidade de duracoes 
entre notas. Primeiro sao calculadas as distancias entre cada ataque sonoro, depois filtrado em 
[pd filter-range] e colocado em uma tabela dinamica em [pd last-x]. O tamanho da tabela sem- 
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Figura 4.25: ritmo estavel 

pre pode ser redimensionado em tempo-real atraves da variavel O-buffer-size entao e calculado 
ao mesmo tempo a media geometrica e a media aritmetica e os resultados sao executados na 
expressao definida por uma divisao da media geometrica pela media aritmetica. 

A divisao da media geometrica pela media aritmetica pode ser definida pela expressao 



n\J a\.a2. 



..an 



al + a2 



..an 



(4.1) 



Essa expressao e calculada a cada nota que chega, onde n e o tamanho do buffer. O resultado 
desse calculo devolve um valor numa escala de a 1 . Esse valor representa o indice de instabi- 
lidade ritmica da ultima duracao entre 2 notas, comparado com as ultimas "n" duracoes. Nesse 
resultado dessa divisao e aplicado um filtro com [moses] onde se pode calibrar a sensibilidade 
do valor do indice final. 
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Figura 4.26: ritmo instavel 



Densidade ritmica e o indice que mede a quantidade de eventos sonoros dentro de espacos de 
tempo. Serve como ferramenta de analise e pode funcionar como um parametro estrutural em 
um sistema de analise musical mais completo. 

Os primeiros passos na implementacao de um mecanismo de analise de densidade podem ser 
vistos na figura 4.28, onde na area central, aparece um leitor de samples [tabplay-] lendo um 
arquivo de audio e enviando o fluxo de audio para o objeto [bonk-]. A saida de [bonk-] e filtrada 
pelo objeto [moses] que pode ter um numero de corte variavel, sendo flexivel a diferencas de 
volume em diferentes momentos, lugares ou fontes sonoras. 

Ainda na figura 4.28, a secao da esquerda mostra uma maneira de classificar as duracoes 
entre ataques de notas em longas ou curtas, possibilitando uma classificacao basica, que vai 
possibilitar a criacao de padroes rftmicos de combinacoes entre longos e curtos. Nesse caso 
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Figura 4.27: ritmo estavel e instavel 
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Figura 4.28: captacao de ataques com [bonk-] e categorizacao entre "curtos" e "longos" 
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Figura 4.29: sub-patch [densidade ritmica] 



tambem o limite entre longo e curto e dado por [moses] que pode ser redimensionado em tempo- 
real. 

Na4.29 vemos o conteudo interno do sub-patch [densidade-ritmica], onde e realizadas conta- 
gens de quantos ataques de eventos sonoros acontecem a cada 2 segundos de tempo. Densidade 
ritmica e um bom indice global de controle dos eventos sonoros por um instrumentista. A ma- 
neira de uso desse indice se transforma de um controle ritmico pratico para um musico treinado. 
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4.1.5 Analise de timbre 

[bonk~] 

O objeto [bonk~] possui um sistema interno de classificacao e comparacao de amostras de 
audio. Essa propriedade possibilita, por exemplo, uma situacao de acompanhamento interativo 
para uma instrumentacao de percussao multipla. 

Tambem e possivel pedir para bonk testar qualquer novo ataque contra um menu de 
ataques pre-gravados a fim de adivinhar qual dos varios instrumentos possiveis foi 
responsavel pelo novo ataque. Para fazer isso, primeiro temos que armazenar mo- 
delos espectrais para cada um dos instrumentos. Depois disso, qualquer novo ata- 
que e comparado com o daqueles armazenados e a correspondencia mais proxima 
e relatada. A subjacente suposicao de que ha realmente alguma repetibilidade dos 
envelopes espectrais de ataques de instrumentos de percussao, certamente nao e 
verdade no mundo real, mas e interessante saber quais tipos de instrumentos bonk 
pode identificar desta forma e quais nao. 6 (M., T., e D. 1998) 

O objeto [bonk~] pode funcionar detectando ataques em tempo-real retornando um bang para 
cada ataque na saida esquerda. Ou entao pode alternar entre dois estagios: "learn"e "forget"que 
sao enviados como mensagem na entrada de [bonk-]. Outras mensagens posicionam outros 
parametros como por exemplo "minvel", para minima amplitude de offset para retornar uma 
deteccao de ataque. Se for enviada uma mensagem com "learn 10", o objeto ira aguardar dez 
notas consecutivas do mesmo instrumento. O resultado da comparacao interna e retornado pela 
saida da direita. 

timbrelD 

Quando se acessam aos dados puros de um fluxo de audio precisamos de metodos especificos 
para filtrar esses dados. Uma densa bibliografia tern sido desenvolvida sobre algoritmos de 
busca e filtragem de dados de analise FFT. Cada algoritmo e especializado em algum aspecto, 



6 It is also possible to ask bonk to test any new at- tack against a menu of pre-recorded attacks in order to 
guess which of several possible instruments was responsible for the new attack. To do this, first we store spectral 
templates for each of the instruments. Thereafter, any new attack is compared with the stored ones and the closest 
match is reported. Theunderlying assumption, that there is actually some repeatability in the spectral envelopes of 
attacks of percussive instruments certainly doesn't hold true in the real world, but it is interesting to learn which 
sorts of instruments bonk can identify in this way and which it can't. 
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Figura 4.30: timbrelD - audio-features 



seja de estimativa de frequencia fundamental, ou de comportamento espectral da fonte sonora, 
como por exemplo, estimativa se determinado trecho e uma nota com articulagao diferente 
ou um ruido indesejado. Pode-se dizer que a filtragem dos dados de analise espectral e um 
importante niicleo dentro da pesquisa em musica interativa e computa§ao musical. Nessa segao 
serao comentadas algumas ferramentas que demonstram o estado da arte da analise de audio 
em tempo real, que permitem um maior refinamento na deteccao de parametros sonoros em 
projetos de musica interativa. 

Nese sentido, alem dos dados puros da FFT feita com o objeto [rfft~], destacamos duas bibli- 
otecas externas de Pd que compreendem diversos algoritmos diferentes de analise. A primeira 
biblioteca e a timbrelD (Brent 2009a) desenvolvida por William Brent e compreende uma serie 
de objetos implementados em C e possui uma boa eficacia em processamento. A timbrelD 
possui quatorze objetos de analise espectral cada um em versao estatica e tempo-real, com a 
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Figura 4.31: timbrelD 

diferenca de que a versao em tempo-real processa audio em vez de valor de amostra. Alem de 
um objeto classificador [timbrelD]. Na figura 4.31 temos uma visao geral de um dos algoritmos 
de analise do objeto [bfcc~], baseado na analise Cepstral enviando dados para o classificador 
[timbrelD]. Na figura 4.32 podemos ver em detalhe o funcionamento de [bfee-]. 



Bfcc~e o objeto de analise cepstral mais desenvolvido, utilizando a escala Bark 
mais bem pesquisada, em vez de Mels para a ponderacao do espectro. O desempe- 
nho e apenas ligeiramente melhor do que MFCC-. A coisa mais notavel sobre estes 
cepstral externs e a flexibilidade que proporcionam no que diz respeito a construcao 
do de banco de filtros. A escolha de um valor ideal de Bark ou Mel pode ter um 
impacto real sobre o quao relevante sao esses parametros na classificagao de um 
som em relacao a outro 7 . (Brent 2009a) 



7 Bfcc~is the most developed cepstral external, using the more thoroughly researched Bark scale rather than 
mels for the spectrum weighting. Performance is only slightly better than mfcc~. The most noteworthy thing 
about these cepstral externs is the flexibility they provide with respect to filterbank construction. The choice of a 
specific Bark- or mel-spacing can have a real impact on how relevant the features are in classifying one sound set 
vs. another. 
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Figura 4.32: timbrelD - bfee 



Uma das vantagens da timbrelD e a flexibilidade de parametrizacao. A biblioteca e divi- 
dida entre objetos externos para implementacao de cada algoritmo e um objeto responsavel 
pela classificacao dos resultados dos algoritmos. O objeto de classificacao ([timbrelD]) aceita 
listas de caracteristicas timbristicas estocadas e tenta encontrar a melhor correspondencia com- 
parando com a analise do audio de entrada. Listas de caracteristicas mandadas para a entrada 
da esquerda sao processadas pela funcao "train" (em formato de mensagem). Uma vez que uma 
base de dados de treinamento e criada, ela pode ser salva em um arquivo .timid com o metodo 
"write", e mais tarde recuperado com o metodo "read". Outros formatos de saida sao .txt, .mat 
(para uso com os programas MATLAB ou Octave) e ARFF (para uso com o ambiente WEKA). 
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Figura4.33: PDescriptors - [Inharmonicity-] 



A segunda entrada do objeto [timbrelD] recebe listas de caracteristicas que sao compara- 
das com aquelas no banco de dados do treinamento e uma correspondencia e identificada. As 
instancias de correspondencia sao distinguidas pelo indice, por isso, se a correspondencia mais 
proxima for o indice 7, o numero 7 vai aparecer na primeira saida da esquerda. 

Na figura 4.30 vemos um painel geral com os resultados simultaneos dos quatorze algoritmos 
de analise espectral diferentes. Notamos que os quatro objetos superiores retornam resultados 
em listas que sao plotadas em arrays, enquanto os demais objetos retornam indices puros. 

Outra biblioteca relevante e a PDescriptors (Monteiro e Manzolli 2011) que consiste de 
abstracoes de Pd que usam apenas objetos "vanilla" e por isso possui um grande poder de com- 
patibilidade com diversos projetos. As abstracoes sao divididas em caracteristicas perceptuais, 
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espectrais, harmonicas e temporais, alem de alguma ferramentas de transcricao. Podemos ver 
a interface do objeto [Inharmonicity-] na figura 4.33, onde o resultado da analise e plotado no 
grarico abaixo da forma de onda da fonte, o que facilita a comparacao visual, resultando numa 
boa interface para trabalho de analise de audio. 
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Figura 4.34: interface 

4.2 Analise Humdrum 

Dentro de um projeto de musica interativa, sao necessarias informacoes quantitativas quanto 
a variacao de parametros musicais pelo miisico, como por exemplo quais acordes foram mais 
usados nos ultimos 12 compassos. Nesse sentido o Humdrum e uma boa plataforma de analise 
simbolica de estruturas musicais. Nesse prototipo, procuramos investigar de que maneira podem 
se conectar as duas linguagens com visualizagao de dados em Gem. Na 4.34 mostramos a visao 
geral da interface e controle do prototipo, com a opcao de se carregar um arquivo midi, que 
pode ser substituido por arquivos midi gerados em tempo real durante uma performance. 

Parseando strings no Pd 



O parser funciona em 3 instancias: 
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1) Abre-se um arquivo midi com o objeto [openpanel] atraves de uma janela de dialogo, o 
path do arquivo substitui a variavel dolar 1 como argumento para o programa mid2hum que 
converte arquivos midi para o formato kern (.krn), usado pelo humdrum. 

midi2hum \$1 > m2h.krn 

O codigo acima e formatado numa mensagem e enviado ao objeto [shell] onde converte o 

arquivo midi e envia o resultado para um novo arquivo chamado m2h.krn. 

2) Nessa etapa e onde se aplicam os comandos do humdrum ao arquivo gerado. No caso o 
comando 

census -k m2h.krn > m2h.txt 

traz diversas informacoes sobre o arquivo enviadas para um arquivo de texto como por exemplo: 

HUMDRUM DATA 

Number of data tokens: 2510 

Number of null tokens: 

Number of multiple-stops: 470 

Number of data records: 2511 

Number of comments: 817 

Number of interpretations: 301 

Number of records: 3629 

KERN DATA 

Number of note-heads: 2491 

Number of notes: 2209 

Longest note: 2 

Shortest note: 384 

Highest note: gggg# 

Lowest note: FFF 

Number of rests: 310 

Maximum number of voices: 4 

Number of single barlines: 237 

Number of double barlines: 

3) Nessa parte expomos um metodo de navegar e procurar por informacoes no arquivo de texto. 
O codigo usado como modelo esta assinalado na figura 4.35. O arquivo m2h.txt e lido pelo 
objeto [msgfile] e envia uma lista com todo conteudo do arquivo para os objetos [list-find] e 
[list-seek]. Em [list-find] podemos procurar por um simbolo especifico dentro da lista e nos 
retorna a posicao do simbolo. No caso do codigo assinalado, vemos o simbolo "notes:" , porem 
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Figura 4.35: parser 



como desejamos o valor de "notes:" selecionamos a posicao de "notes:" na lista e adiciona- 
mos um niimero para acessar o lugar do valor de "notes:" na lista. Essa posicao e enviada 
para [list-seek] que retorna o valor ou simbolo na posicao desejada. Como teste escolhemos os 
parametros "notes:" e "voices:", respectivamente niimero de notas e niimero de vozes encontra- 
das no arquivo. 

Visualiza9ao com GEM 

Os valores de niimeros de notas e niimero de vozes sao visualizados com objetos da biblioteca 
Gem (Graphics Environment for Multimedia). No caso os 2 parametros sao enviados para 2 
cubos 3D onde os valores sao lidos como valores de tamanho dos cubos. 

Nesse prototipo, mostramos uma metodologia simples de unir duas linguagens muito usadas 
em pesquisa de miisica. Essa metodologia e uma maneira clara de como acessar outra lingua- 
gem dentro do Pd enriquecendo as possibilidades da linguagem. 
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Figura 4.37: GEM texto 
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Figura4.38: gemwin 



4.3 Geradores MIDI 



Nessa secao serao descritos os geradores MIDI, que sao modulos de composicao algoritmica 
alimentados por dados da analise da entrada do musico. 

Durante a implementacao dos geradores de material musical, procurou-se aliar tecnicas de 
composicao algoritmica com o resultado das analises do audio de entrada. 

A ideia e de ter uma colecao de geradores, capazes de imitar, simular, seguir ou serem al- 
terados por elementos da performance humana. A analise do audio tenta fazer uma descri§ao 
da performance e essa descrigao e enviada aos geradores, mediados pelo cenario de interacao. 
Nesse sentido as analises alimentam os parametros dos geradores, conduzindo o comportamento 
dos mesmos. 

Notadamente alguns trabalhos tern influenciado bastante o desenvolvimento dos geradores, 
servindo de ponto de partida para a implementacao, como por exemplo a biblioteca RTC 8 e o 
metodo MEPSOM 9 , alem de alguns objetos das bibliotecas PDMTL e Rj. 



8 A biblioteca RTC (Real-Time Composition foi desenvolvida pelo compositor Karlheinz Essl em MAX, a re- 
implementafao em Pd foi feita por Frank Barchnet, poderemos ver uma visao mais geral das funcionalidades dessa 
biblioteca no apendice 

9 MEPSOM (Metodo de Ensino de Programafao Sonica para Musicos) desenvolvido por Eldi Fritsch e um 
metodo que ensina composifao algoritmica no ambiente MAX. Alguns exemplos de MEPSOM foram portados 
para Pd e podem ser vistos no apendice 



82 

Miisicos frequentemente separam os aspectos ritmicos, melodicos e de dinamica quando estu- 
dam performance ou compoe. E comum um instrumentista executar um mesmo perfil melodico 
em diferentes combinacoes ritmicas e com articulacoes diferentes. Muitos metodos de educacao 
musical comecam com exercicios ritmicos para depois incluir exercicios melodicos. Ao imple- 
mentar os geradores midi nessa pesquisa, levou-se em conta esses aspectos e decidiu-se manter 
a separacao entre os dominios do ritmo, melodia e dinamica. Criando uma relacao de funcio- 
namento desses geradores, possibilitando uma expansao organizada de tecnicas de geracao. Na 
implementacao de SInCoPA, projetamos 3 objetos que trabalham juntos para gerar dados midi: 

• sinc-gera-ritmico 

• sinc-gera-melodico 

• sinc-gera-dinamica 

Cada um desses objetos gerencia algumas tecnicas de geracao algoritmica. E possivel qual- 
quer combinacao entre esses tres objetos. A combinacao entre os diversos geradores se da 
atraves da analise do audio de entrada e a escolha de um cenario de interacao. Cada uma dessas 
dimensoes administra geradores que se enquadram nas seguintes categorias: 

• Imitacao 

• Variacao 

• Movimento browniano 

• Probabilidade 

• Randomico 

• Boids 

Alem de serem descritas tambem tres categorias de harmonizadores. Qualquer combinacao 
dessas categorias com a performance do musico guarda, a priori, uma relacao de unidade com- 
posicional por se basear no material fornecido pelo musico. Mas claramente, apos a analise de 
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cada algoritmo, iremos notar que algumas combinacoes geram uma "sensacao" de unidade mais 
forte que outras. Apesar desta pesquisa nao se ocupar com problemas de pesquisa em cognicao, 
algumas conclusoes advindas do manuseio e experimentacao das ferramentas apresentadas po- 
dem ser apontadas. 

Por exemplo, se o gerador rftmico for imitativo, o melodico baseado em variacao e o gerador 
de amplitude for randomico, vamos obter um resultado com forte unidade composicional pois 
a dimensao ritmica contribui intensamente para essa sensacao de unidade. Numa performance 
de musica interativa essa sensacao de unidade e importante para o musico que esta interagindo 
com a maquina. Criando pontos de apoio na narrativa global, onde o musico consegue controlar 
musicalmente aspectos do dialogo. Podemos inferir que essa sensacao de unidade esta relacio- 
nada a sensacao de controle do discurso, no caso do musico atuando em uma sessao de musica 
interativa. 

A manipulacao de dados midi compreende algumas tecnicas bem estabelecidas no Pd. A 
geracao de notas midi e realizada com o objeto [makenote] que formata dados de entrada em 
notas midi, fornecendo as mensagens "noteon"e "noteoff ', baseado no valor de duracao. As 
entradas e saidas midi sao feitas com os objetos [notein] e [noteout] respectivamente. O objeto 
[seq] grava e manipula arquivos do tipo midi, porem, os parametros das mensagens midi podem 
ser facilmente escritos em arrays e listas para entao serem manipulados. 

Na figura 4.39 vemos no patch a esquerda, o fluxo de entrada de audio do objeto [sinc- 
audioin], sendo analisado pelo objeto [sinc-audioanalise] e posteriormente sendo convertido 
para mensagens midi com auxilio dos objetos [makenote] e [noteout]. Podemos observar ainda 
a dinamica sendo convertida de decibeis (distribuicao exponencial) para RMS (distribuicao li- 
near) com o objeto [dbtorms]. Apos essa conversao, o valor da dinamica e convertido para uma 
escala midi de a 127. Para isso e usado o objeto [scale. linear] da biblioteca "pdmtl". O valor 
de duracao das notas e determinado pelo objeto [timer] que recebe uma mensagem (bang) a 
cada deteccao de ataque e de silencio. No panorama geral da figura 4.39 vemos o Pd man- 
dando mensagens midi em tempo-real para o programa Rosegarden, usando conexao midi do 
programa Jack. 
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Figura 4.39: Conversao de audio para notas midi 



4.3.1 Manipula^ao e escrita de dados MIDI 



Existe uma discussao acerca da validade do protocolo MIDI na atualidade. Caesar afirma que o 
protocolo MIDI enquanto ferramenta que se tornou um padrao comercial, criou um ecossistema 
cultural e estetico ao seu redor, tendo influenciado toda uma geracao de compositores. Rowe 
por outro lado, coloca que a presenca do protocolo MIDI em sistemas musicais modernos e um 
anacronismo pois seria mais lento que protocolos modernos como OSC 10 e incapaz de transmitir 
parametros mais completos sobre a descricao musical, como por exemplo dados mais refinados 
sobre o timbre. 

Apesar da discussao, o MIDI ainda e muito usado como padrao de troca de dados entre 
programas e como mapeador de instrumentos controladores comerciais. Alem de ser usado 
em outros ambientes em dispositivos de controle de iluminacao e toques de celular. Apesar do 
titulo dessa secao ser "Geradores MIDI", os algoritmos aqui apresentados podem facilmente ser 
utilizados em geradores de sintese sonora ou protocolo OSC. 



°Open Sound Control 
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Figura 4.40: Objeto [sinc-midiin] 

O MIDI e um protocolo que descreve pitch (frequencia), velocity (intensidade) e duracao 
para cada nota (evento). Isso permite que seja usado tanto em situacoes de gravacao e repeticao 
ou transformacao em tempo-real, quanto tambem como registro de uma sessao de interacao. 
Nesse caso, pode ser editado posteriormente em notacao musical, como pode ser visto na secao 
A. 3 onde podemos ver as possibilidades de integracao com outros programas para visualizacao 
da notacao musical. 

Foi desenvolvida uma abstracao que facilita a leitura e escrita dos dados MIDI, baseada no 
objeto [seq]. O objetivo e estabelecer uma metodologia para rapida prototipacao, teste e registro 
de algoritmos voltados para composigao interativa. 

A abstracao recebe dados MIDI de controlador externo, dos modulos geradores algoritmicos 
e do teclado do computador, sendo capaz de gravar uma performance com dados de todas as 
fontes em canais separados, garantindo uma posterior analise e re-utilizacao do material. Para 
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Figura 4.41: Exemplo de funcionamento de [sinc-midiin] 

isso se definiu uma distribuicao de canais MIDI como podemos ver na figura 4.40, onde vemos 
o objeto [notein] com argumento 2, significando que apenas recebera dados enviados do canal 
MIDI 2. Os objetos [midiformat] por sua vez aparecem com os argumentos 5 e 7, permitindo a 
gravacao de um arquivo .mid com canais distintos. 

Na figura 4.41 vemos um exemplo de funcionamento recebendo dados do teclado do compu- 
tador com a abstracao [sinc-teclado] ao mesmo tempo que recebe dados dos algoritmos gerado- 
res melodicos. A abstracao [sinc-gera_melodico] controla os algoritmos de geracao melodica e 
e acionada por um [metro]. 

Abstracao [sinc-teclado] 



A abstracao [sinc-teclado] foi feita como um acessorio para rapida prototipacao de performance 
com dados MIDI quando nao se dispoe de um controlador externo. O objetivo e transformar o 
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Figura 4.43: Mapa de distribuicao das teclas de [sinc-teclado] 
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USO : Argument o 1 : $ ; 

Argumento 2: $0-nota (1057-cl, $0-c+l, ...); 

Argument o 3: pitch midi; 

Argumento 4 : codigo ascii da tecla dese jada 



Figura 4.44: Abstracao [kbkey2] mapeia cada tecla 



input do t eel ado alf a-numerico 
$1 = ascii 



Figura 4.45: Abstracao [kbkey] 



teclado alfanumerico do computador em um controlador MIDI sem o controle de velocity de 
cada nota. Cada tecla e mapeada com a abstracao [kbkey2] o que permite que se defina como 
quiser a relacao de cada tecla com uma respectiva nota MIDI. 

Na figura 4.42 podemos ver o panorama interno da abstracao [sinc-teclado], onde cada tecla 
envia uma mensagem MIDI por [noteout] para o canal 2. Cada tecla e mapeada com a abstracao 
[kbkey2] que e vista na figura 4.44. Na figura 4.43 vemos a distribuicao das instancias de 
[kbkey 2] para cada tecla. Na figura 4.44 vemos o detalhamento dos argumentos de cria§ao de 
[kbkey2], que alem de mapear uma tecla especifica para uma nota midi correspondente, envia 
informacao para um objeto toogle [tgl], correspondente a sua representacao no teclado grafico, o 
que possibilita a visualizacao para qual nota a tecla foi mapeada. O primeiro objeto de [kbkey2] 
e a abstracao [kbkey] que pode ser vista na figura 4.45. 
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3 tacfO tag: tempo atual gerad 



Figura 4.46: subpatch [pd gerador-ritmicoO] de [sinc-gera-ritmico] 

4.3.2 Imita^ao 

Os geradores imitativos sao os de implementacao mais simples, pois apenas fazem uma leitura 
na memoria dos dados da performance. Quando algum parametro esta sendo gerado atraves de 
imitacao a sensacao de unidade composicional e fortalecida. 

Gerador ritmico imitativo 



No patch da figura 4.46 vemos um gerador de tempos de intervalo entre ataques de notas. Nesse 
caso, as duracoes dos intervalos sao gravadas no array $0-ritmo_manip. Aqui o array e lido com 
[counter] que e acionado por um [delay]. O tempo de leitura respeita o proprio valor de duracao 
que e enviado com a variavel [s tag]. A abstracao tem duas saidas, a primeira envia um bang a 
cada nova leitura, e a segunda envia o valor da atual duracao. 
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Figura 4.47: [pd gerador-melodicoO] 



Melodia imitativa 



Nesse primeiro gerador melodico o metodo de geracao e a leitura linear da tabela temporaria de 
pitches como se pode ver na figura 4.47. 

O objetivo desse gerador e a imitacao melodica do instrumentista. A leitura e feita com 
[counter] e enviada diretamente para a saida. 

4.3.3 Variacao 

Denominamos variacao um procedimento que toma como base um material dado e aplica 
uma operacao de transformacao nesse material. Nessa pesquisa, o material de base sao os 
proprios dados da analise da performance musical. Aqui serao descritos algumas tecnicas de 
variacao melodica como transposicao, inversao, retrogradacao e tambem de variacao ritmica 
como expansao e contracao de duracoes. Alem de outras possibilidades de leitura de arrays e 
transformacoes. 

Na figura 4.48 vemos acima um array "pitch.original" que representa o conjunto de pitches 
executados pelo musico (poderiam ser duracoes ou qualquer outro parametro). No centro, o 
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Figura 4.48: Patch mostrando operacoes de variacao sobre array 

array "pitch_resultado" mostra o resultado das operacoes de variacao. E abaixo, um array "con- 
torno" mostrando a reducao do contorno em "pitch .original" para a forma normal, como visto 
na secao 4.1.3. 

A primeira operacao e chamada aqui de normalizacao dinamica, onde se pode aumentar ou 
diminuir a razao entre os valores, sem perder as relacoes originais. Isso e feito multiplicando 
todos os valores por um indice variavel, como pode ser visto na figura 4.49, no subpatch [pd 
normalizacao]. A multiplica§ao e feita lendo os valores em "pitch_original" e escrevendo o 
resultado em "pitch_resultado" e em outro array interno chamado "temp". 

As operacoes de transposigao, inversao, retrogrado e retrogrado-invertido sao realizadas com 
o objeto [c_patternchange] da biblioteca rj. O objeto [c_patternchange], recebe uma lista de 
valores na entrada da direita e comandos de operacoes na entrada da esquerda. A cada novo 
comando de operacoes, primeiro a lista atualizada de valores de "temp", com [tabdump], para 
entao realizar a operacao e escrever o resultado no array "pitch_resultado". 
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Itabwrite temp 
tabwrite pitch_resultado] 



Figura 4.49: Sub-patch mostrando operagao de normalizagao sobre array 
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Figura 4.50: Sub-patch [pd rj] mostrando objeto [c_patternchange] 
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Figura 4.51: Gerador rftmico de variacao de leitura de tabela de duracoes 



Paralelamente, e contado o tempo a cada chamada de operacao com o objeto [timer]. Quando 
o tempo entre uma operacao e outra for maior que 500 milisegundos, o objeto [tabletool] fara 
uma copia de "pitch_resultado" para "temp". Garantindo que cada operacao sera feita em cima 
do resultado das outras operacoes feitas durante a sessao. 

Quando aplicamos a operacao de transposicao ao parametro de duracoes das notas, obtemos 
o efeito de expansao e contracao ritmica, bastante utilizados em tecnicas de contraponto tonal. 

Na figura 4.5 1 vemos outro gerador aplicado a variacoes ritmicas. E responsavel por construir 
novas sequencias ritmicas a partir de variacoes da tabela de duragoes. Essas variacoes podem 
ser: 
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• leitura das duracoes na ordem normal 

• leitura na ordem reversa 

• leitura randomica 

4.3.4 Randomicos 

A maioria das linguagens de programacao possuem um gerador de numeros randomicos, que 
gera a partir de uma distribuicao uniforme, com valores entre e 1. Esse numero e chamado de 
pseudo-aleatorio, porque e possivel repetir a mesma sequencia a partir de uma mesma semente 
(valor inteiro). A distribuicao uniforme e a distribuicao de probabilidades mais simples de 
definir, onde a probabilidade de se gerar qualquer ponto em um intervalo contido no espaco 
amostral e proporcional ao tamanho do intervalo. 

Cada implementacao define uma equacao complexa que produz uma sequencia de numeros 
pseudo-previsiveis. No Pd o objeto [random] retorna um valor randomico entre e seu argu- 
mento de criacao. O resultado pode ser escalado utilizando objetos matematicos como visto na 
secao A.2. 

Cada instancia de [random] e provida com uma semente (seed) que e apenas uma das variaveis 
na equacao que produz a sequencia. A "semente" e gerada pelo Pd baseado em parametros es- 
pecfficos em cada patch que contem um objeto [random]. Se mais de um objeto [random] e 
colocado em um unico patch, cada um recebe uma semente diferente. Entretanto, sementes 
podem ser enviadas para [random] com a mensagem seed $1. Se mais de um objeto [random] 
recebem a mesma semente, ambos retornam o mesmo resultado, e se a semente for atualizada 
com o mesmo valor, a mesma sequencia de resultados volta ao inicio. 

Na figura 4.52 vemos um patch com dois objetos [random] acionados simultaneamente pelo 
mesmo [metro]. Podemos notar que algumas mensagens com seed aparecem acima. Algu- 
mas se conectam apenas com um [random] e outra se conecta com os dois. O resultado da 
manipulacao desse patch pode ser visto na figura 4.53 com a indicacao acima da pauta do mo- 
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Figura 4.52: Patch com dois geradores [random] alternando entre valores de seed 
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Figura 4.53: Sequencia de notas geradas pelo patch da figura 4.52 
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random. integer 20 100 



Figura 4.54: [pd gerador-melodico3] 

mento em que cada mensagem foi acionada. Podemos dessa maneira sincronizar geradores 
randomicos e acessar repeticoes de trechos. 

Musicalmente podemos pensar num gerador randomico aplicado a geracao de alturas, que re- 
presenta o oposto da impermeabilidade melodica, como descrito por Ligeti e citado no capitulo 
2. O gerador da figura 4.54 e baseado no objeto [random.integer]. O objetivo desse gerador e 
ter um gerador com alto grau de permeabilidade melodica. 

Em alguns casos pode-se desejar realizar um filtragem dos resultados de um gerador al- 
goritmico. De maneira que todos resultados do algoritmo se encaixem numa sequencia de 
valores definidos. Nesse sentido podemos citar a abstracao [musical.closest.note] da biblioteca 
PDMTL. 

4.3.5 Probabilidades 

No Pd podemos implementar um sistema simples de probabilidade como vemos na figura 4.56, 
onde o resultado de um gerador randomico passa por uma sequencia de filtros numericos feitos 
com [moses]. Esse procedimento pode ser usado em conjunto com um sequenciador, ou como 
e o caso aqui, pode ter as probabilidades ajustadas em tempo-real. 

Para cria§ao de musica interativa, e importante que as probabilidades dos eventos de analise 
da entrada do musico, influenciem as probabilidades de geracao de eventos pelo sistema em 
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Figura4.55: Filtro de alturas baseado em array, atraves da abstracao [musical.closest.note] 
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Figura 4.56: Patch controlador de probabilidade 
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Figura 4.57: Abstracao [sinc-ritmo-prob] 

tempo-real. O objeto [probalizer] da biblioteca unauthorized, proporciona uma interface grafica 
para edicao e controle das probabilidades. Na abstracao [sinc-ritmo-prob] foi implementada um 
sistema que calcula as probabilidades de duracoes aproximadas. 

Cada duracao de entrada e encaixada em uma escala de cinco possiveis classes de duracoes. 
De a 200, 200 a 500, 500 a 1000 e 1000 a 1500 milisegundos respectivamente, sao os registros 
das duracoes das cinco classes, da mais curta ate a mais longa. Esses registros ainda podem ser 
moveis, alterando-se os objetos [moses] atraves da entrada da direita. 

A cada duracao, e alimentado o objeto [probalizer], aumentando a probabilidade da classe 
de duracao em questao. Quando [probalizer] recebe um bang atraves de [inlet pede-nota], e 
retornado o valor da classe de duracao de acordo com a curva de probabilidade. Esse valor e 
enviado na variavel [s indice-tempo] para um gerador de duracoes. A cada classe que chega 
com [r indice-tempo], um valor e calculado por um objeto [shuffle] correspondente. O objeto 
[shuffle] retorna um valor randomico dentro de um registro dado. Por exemplo, o primeiro 
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Figura 4.58: [pd gerador-melodicol] 

objeto [shuffle] da sequencia, vem com os argumentos 70 e 200, que determina o registro do 
valor de resposta. 

A cada 100 ocorrencias de uma classe a tabela de probabilidades volta ao inicio. Quando 
todos valores de [probalizer] estao com a mesma probabilidade, o objeto funciona como um 
gerador randomico comum sem repeticoes. Outra aplicacao de [probalizer] e vista na figura 
4.58, onde cada valor de pitch da analise da performance do musico alimenta a probabilidade 
da respectiva nota. O objeto [probalizer] e organizado para receber valores de a 127 e a cada 
30 ocorrencias do mesmo pitch as probabilidades voltam ao inicio. 

Uma outra possivel aplicacao seria o uso de probabilidades para analise e geracao de padroes 
maiores tanto de duracoes quanto de conjuntos de notas. O que permite a recorrencia dos 
padroes ritmicos que emergem ao longo da performance. 

4.3.6 Movimento browniano 



O terceiro gerador e mostrado na figura 4.59 e realiza uma combinacao entre os objetos [table- 
tool] e [brown-rhythm]. 
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Figura 4.59: Gerador ritmico baseado em movimento browniano 



O objeto [tabletool] 11 permite que se facam operacoes matematicas recursivas e analise em 
arrays de numeros. 

Nesse caso, [tabletool] e responsavel por informar os valores minimo e maximo de duracoes 
de tempo entre notas, que estao armazenados no array $0-ritmo-manip, enviando esses respec- 
tivos valores como variaveis [s min-ritmo] e [s max-ritmo] para o gerador de duracoes [brow- 
rythm]. 

O objeto [brown-rhythm] esta presente na biblioteca RTC e se trata de um gerador de duracoes 

baseado em movimento browniano (Brown motion) n . 

11 Objeto externo desenvolvido em C por William Brent e compilado e testado no ambiente de desenvolvimento 
dessa pesquisa 

12 Movimento browniano e um modelo que descreve o movimento aleatorio de particulas macroscdpicas num 
fluido como consequencia dos choques das moleculas das particulas. Esse nome e devido ao botanico Robert 
Brown, que observou minusculas particulas dentro dos vacuolos dos graos de pdlen executando um movimento 
agitado. Repetindo o experimento com particulas de poeira, ele foi capaz de definir que o movimento se deu devido 
as particulas estarem "vivas", embora a origem do movimento ainda estivesse para ser explicada. O cientista que 
explicou corretamente esse movimento, propondo que a energia fosse constituida de particulas, foi Albert Einstein, 
em 1905. Movimento browniano e um dos modelos mais usados de processos estocasticos (ou probabilisticos) 
sobre tempo continuo. 
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Figura 4.60: brow-rythm 
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Figura 4.61: Funcionamento basico de [brow-rhythm] 

O funcionamento basico aparece na figura 4.61. No manual de [brown-rhythm] aparece uma 
explica§ao mais detalhada. 

Gera um ritmo do tipo movimento browniano de uma linha geometrica de duracoes 
entre ataques (IOI) 13 e um determinado numero de duracoes (IOI). O fator brow- 
niano determina a distancia entre dois valores ritmicos sucessivos. Um fator de 
produz um ritmo periodico, onde um fator de 1 gera valores de saida randomicos 
dentro do intervalo dado. 14 



Na figura 4.60 vemos como [brown-rythm] e construido internamente. Nota-se em desta- 
que os principals objetos envolvidos na constru§ao de [brown-rhythm]. Basicamente, o objeto 



13 "Inter-Onset-Interval" considero um termo que define melhor essa classe de valores. 

I4 Generates a brownian-movement-like rhythm of a geometrical row of entry delays (ED) and a certain number 
of ED-values. The brownian factor determines the distance between two succeding rhythmical values. A factor of 
produces a periodic rhythm, where a factor of 1 output random values of the given range. 
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Figura 4.62: Funcionamento de [brownian] 




Figura 4.63: objeto [brownian] com diferentes valores de fator de brown 

[brownian] e uma implementacao de distribuicao de Brown no Pd. E [trans-log] e um objeto 
que realiza uma transicao logaritmica entre numeros. 

Podemos ver o funcionamento basico do objeto [brownian] acessando seu manual (figura 
4.62. A saida desse objeto retorna numeros randomicos entre o minimo ("min" (int, float)) e 
o maximo ("max"(int, float)). A distancia entre dois numeros randomicos e determinada pelo 
fator de brown (float entre e 1). Quando esse fator e 1, [brownian] se comporta como um 
gerador randomico ordinario (objeto [random] por exemplo). Quando o fator e 0, o mesmo 
numero sempre e repetido. 
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Figura 4.64: [brownian] 



E possivel comparar diferentes comportamentos de [brownian] observando a figura 4.63, 
onde vemos tres objetos [brownian] com os mesmos parametros de inicializacao, cada um escre- 
vendo os resultados em diferentes arrays de 50 elementos. A unica diferenca entre os 3 esta no 
fator de brown, assinalado em rosa (0.01 , 0.1 e 0.5 respectivamente). Musicalmente, um baixo 
fator de brown aplicado a duracoes entre notas possibilita a emergencia de padroes ritmicos bem 
estabelecidos com pequenas variacoes. Quando aumentamos gradualmente o fator de brown, 
ouvimos uma transicao rumo a uma instabilidade ritmica e a quebra de padroes. O objetivo 
desse gerador e se aproximar da performance do musico real. O objeto [sinc-audioanalise] ana- 
lise o audio de entrada estimando os valores de duracao entre notas. Esse valores sao enviados 
a [sinc-calc-ritmo] que faz uma estimativa do grau de instabilidade, como explicado na pagina 
4.21. O grau de instabilidade ritmica influencia direto o comportamento do fator de brown, de 
acordo com a definicao do cenario de interacao a que se propoe. O cenario pode definir, por 
exemplo, que um ritmo estavel do musico (baixa instabilidade), provoque um comportamento 
ritmico instavel do gerador (fator de brown alto). 
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Figura 4.65: exemplo de funcionamento de [drunk] 

Na figura 4.64 vemos a composkyao interna do objeto [brownian] onde temos elementos gri- 
fados com a cor verde e outros com a cor rosa. Se trata de duas partes distintas do patch, a parte 
com a cor verde, representa o controle dos parametros do objeto [drunk] que e a implementacao 
de um modelo de random-walk no Pd. A area destacada em rosa mostra uma sequencia de 
objetos que escalonam o resultado dentro da amplitude de valor minimo ($1) e maximo ($2). 

O objeto [drunk] pertence a biblioteca Cyclone, que tem como objetivo implementar objetos 
compativeis entre Pd e MAX. O objetivo de [drunk] e retornar niimeros randomicos dentro de 
uma escala variavel. A distancia entre cada niimero randomico e definida pelo valor da terceira 
entrada de [drunk]. Essa variavel define o maior niimero de passos possivel entre dois resultados 
de [drunk]. Vemos na figura 4.65 dois objetos [drunk] sorteando 16 valores de a 10 com a 
diferenca do niimero de passos, com 6 (destaque em verde) e 2 (destaque em rosa). 

Os objetos [brownian] e [drunk] sao muito liteis para a composicao interativa por permiti- 
rem a variacao dos parametros do algoritmo em tempo-real. Essa funcionalidade e usada em 
SInCoPA em outros geradores melodicos e de dinamica. 
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Figura 4.66: [pd gerador-melodico2] 

Movimento browniano como gerador melodico 

O terceiro gerador e mostrado na figura 4.66 e realiza uma combinacao entre os objetos [table- 
tool] e [brown-melody]. 

Gerador ritmico polifonico 

O gerador da figura 4.67 e baseado no objeto [repchord-rhythm] da biblioteca RTC. O objetivo 
desse objeto e ter um gerador com capacidade de controle dos parametros da polifonia. 

O objeto [repchord-rhythm] e um gerador ritmico polifonico cujas taxa repeticao e densidade 
do acorde sao dependentes dos graus de periodicidade de duracoes minima e maxima entre 
notas. 

4.3.7 Boids 



Boids e o nome de batismo de um algoritmo simples, usado na simulacao de deslocamento de 
grupos de animais na natureza, como cardumes de peixe e bandos de passaros. Esse algoritmo 
foi inventado pelo animador de computa§ao grafica Craig Reynolds. O nome e um trocadilho 
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Figura 4.67: Gerador rftmico randomico 

referindo-se a "birds" pronunciado com sotaque de Nova York. Na definicao, cada boid e um 
individuo pertencente a um coletivo. 

Atraves da observacao do deslocamento de bandos de passaros, Reynolds conseguiu descre- 
ver alguns padroes de deslocamento espacial dos individuos dentro do grupo. E um modelo 
baseado no conceito de que cada individuo em um coletivo segue simples regras comporta- 
mentais em relacao aos seus vizinhos, e que a interacao dessas regras produz a propriedade 
emergente de um grupo coordenado. Brevemente, as regras internas do algoritmo sao: 

1. Os boids tentam voar em direcao ao centro de massa dos outros boids vizinhos; 



2. Boids tentam manter uma pequena distancia dos outros objetos (incluindo outros boids); 
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Figura 4.68: Objeto [boids2d] controlando 3 boids geradores de notas MIDI 



3. Cada boid tenta sincronizar sua velocidade com boids vizinhos; 



Basicamente, a cada instancia temporal, os parametros espaciais de cada boid sao re-calculados 
levando em conta um centro de atracao e os comportamentos dos vizinhos. Esse algoritmo tern 
potencial enquanto gerador de material musical numa perspectiva de interacao. 

O Pd-extended traz uma implementacao de boids na forma do objeto [boids2d] que recebe 
mensagens de parametros de comportamento global, parametros do centro de atracao e calcula 
as novas posicoes XYZ de cada boid. No caso de uma aplicacao musical desse algoritmo foi 
pensado num primeiro momento que as frequencias podem representar o eixo X e o tempo 
de execucao o eixo Y. Na figura 4.68 vemos um array que representa a entrada de alturas do 
musico. Esse array atua como o "lider" que e seguido por outros tres boids. A altura e a velocity 
sao enviadas para o objeto [boids2d], que retorna o valor de altura e intensidade dos tres boids 
que representam tres vozes. Cada voz e escrita em um canal MIDI. 
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Figura 4.69: Lista de parametros enviados para [boids2d] 

As mensagens de parametros de comportamento global podem ser vistas na figura 4.69. Cada 
parametro tem uma frase que explica a influencia no comportamento global. Nesse experi- 
mento, apenas o parametro attractpt e atualizado em tempo-real, enquanto todos os outros sao 
fixos nos valores vistos em 4.69. 

resultado do patch visto na figura 4.68 pode ser visto na figura 4.70. Onde vemos que as 
notas executadas pelo array estao destacadas em cores, enquanto que as notas geradas pelos 
boids estao em cinza. Podemos notar um certo "atraso" na acao de seguir o "lider". Esse atraso 
pode ser alterado atraves dos parametros, por exemplo o parametro inertia que controla essa 
"disposicao" para mudar de velocidade e de direcao esta muito baixo (valor 2 na fig. 4.69), a 
medida que aumentamos esse valor iremos notar os boids seguindo com mais rapidez o "lider". 
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Figura 4.70: Visao de resultado de 3 boids seguindo perfil melodico no piano-roll 

O efeito musical e uma textura que varia de uma polifonia densa e aparentemente desconexa ate 
uma heterofonia radical, a depender dos parametros de comportamento. 

Outra classe de algoritmos podem ser encontrados na biblioteca "flatspace", especializada 
em geradores fractals que aceitam parametros de "atratores" baseados em modelos da teoria do 
caos. Sao objetos passiveis da atualizacao dos parametros em tempo-real. 

4.3.8 Harmonizadores 



Esta secao tem como objetivo apresentar possibilidades de harmonizacao automatica em tempo- 
real, onde o sistema tendo o conhecimento da linha melodica criada instantaneamente pelo 
musico, consegue harmonizar essa linha melodica. 

Uma extensa bibliografia tem sido desenvolvida nos tiltimos 30 anos sobre o tema da harmonizacao 
automatica. Muitas empresas subsidiam a pesquisa nesse tema com o objetivo de criar produtos 
comerciais que realizem harmonizacao automatica de maneira satisfatoria para o usuario final. 
Esse processo vem acumulando patentes de algoritmos de harmonizacao por parte de compa- 
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nhias fabricantes de teclados e desenvolvedoras de programas comerciais de producao musical. 
Um exemplo e o programa "Band-in-a-Box" que realiza harmonizacoes de acordo com a analise 
previa de estilos. Nesse caso a harmonizacao nao e feita em tempo-real e tem como finalidade o 
exercicio musical caseiro de criacao melodica sobre harmonizacoes de diferentes estilos. Outro 
exemplo sao as harmonizacoes automaticas de teclados comerciais populares, onde o usuario 
escolhe a tonalidade manualmente e um programa interno realiza uma harmonizacao tonal, 
simples, mas muitas vezes satisfatoria para certos estilos de musica. 

Ching-Hua Chuan define em sua tese, um sistema de harmonizacao que leva em conta parametros 
de analise de cada nota presente em um fluxo melodico, como duracao, duracao das notas an- 
teriores, numero de ocorrencias de determinado pitch class ao longo da melodia, direcionalide 
melodica e diversos outros parametros (Chuan 2008). Por fim, expoe um modelo de acom- 
panhamento harmonico e obtem um resultado positivo ao apresentar o sistema acompanhando 
cancoes populares. 

Matt Hanlon e Tim Ledlie apresentam um sistema de harmonizacao de corais a quatro vozes 
no estilo de Bach. A composicao da progressao harmonica e implementada com um modelo 
estatistico de cadeias de Markov (Hidden Markov Model), e deriva na solucao da harmonia 
atraves da solucao de problemas de satisfacao restrita (constraint satisfaction problem) (Hanlon 
e Ledlie 2002). Apos essa etapa e feita a realizacao da progressao em linhas melodicas para 
quatro vozes 

Uma implementacao bem detalhada de um harmonizador automatico que faz uso de regras 
de harmonia tradicional e descrita na patente Norte-Americana US 7,189,914 B2 assinada por 
Allan John Mack. O harmonizador inicia na primeira nota da melodia e de acordo com a es- 
cala e modo providos pelo usuario, o sistema escolhe uma especificacao de acorde dentre as 
especificacoes estocadas em memoria, que podem ser definidas pelo usuario e sao estocadas em 
arrays lidos pelo programa em tempo-real. Nessa implementacao, uma serie enorme de regras 
de sequencia harmonica e conducao de vozes sao definidas baseadas em regras comuns a diver- 
sos cursos de harmonia tradicional, como evitar 5 a s e 8 a s paralelas e progressoes "proibidas" (I 
- ii - iii , por exemplo) (Mack 2003). 



Ill 

Um aspecto complexo das regras de harmonia tradicional e que as regras de conducao das 
vozes se misturam de forma iterativa com as regras de progressao harmonica. Na descricao 
da patente, o autor exibe trechos do sistema em pseudo-codigo, mostrando a maneira como a 
sequencia harmonica influencia na conducao vocal e vice-versa, e o nivel de detalhamento do 
projeto: 

VI to V progression 

if the preceding and current chords are at their root positions then 
if the preceding chord is of dominant root then 

if the preceding chord is a triad in a minor key or a seventh in a 
major key then 

if the current chord is a submediant triad then 
if the preceding chord has no seventh and no fifth then rule 361 fails 
if the third of the current chord has no double then rule 386 fails 
end if 
end if 
else if the current chord is a dominant triad then 
if the previous chord is a submediant triad in a minor key then 
if the current chord has no fifth then rule 361 fails 

if the third of the previous chord has no double then rule 386 fails 
end if 
end if 
end if 

Dentro do escopo de SInCoPA, foram desenvolvidos alguns metodos de harmonizacao melodica 
para uso composicional. Pode-se pensar em relacoes nao-usuais de parametros como amplitude 
e densidade ritmica como controladores de comportamento de harmonizadores. Um dos objeti- 
vos e a flexibilidade e modularidade da implementacao de harmonizadores que possibilite novas 
relacoes e "regras" de interacao do musico humano com a dimensao harmonica da composicao. 

Nota pertence ao acorde 

Nessa tecnica foi definido que a maior exigencia sera que o acorde contenha a nota que esta 
sendo tocada pelo musico e harmonizada pelo computador. Para isso sao expostas 2 possibili- 
dades de harmonizacao automatica, com resultados distintos. 

No patch da figura 4.71 temos a celula basica do harmonizador diatonico usado no prototipo. 
O objeto [receive fiddle] recebe o fluxo de notas e o objeto [decide], escolhe randomicamente 
quais notas vao ser harmonizadas, e manda sua decisao para o objeto [spigot] que funciona 
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recebe fluxo 
cle notas 




Tabela de resultados cle [random 4] 

sorteia qual nota do acorde sera a nota dada 

= nota dada tonica (ainda sorteia entre acorde H ou m) 

1 = nota dada terca menor 

2 = nota dada terca maior 

3 = nota dada quinta (ainda sorteia entre acorde M ou m) 

esse objeto decide 
quais notas de entrada 
que serao harmonizadas. 



pd terca maior 



Figura 4.71: Decisao de qual nota a ser harmonizada 

como uma chave seletora liberando ou nao a nota para ser harmonizada. Apos a nota ser liberada 
para o harmonizador, vai acontecer a escolha de qual acorde sera sobreposto a essa nota. Isso 
e feito pelo objeto [random 4] que escolhe randomicamente um numero de a 3, cada um 
representando uma operacao a ser feita com a nota dada pela flauta (ver ainda na figura 4.71 - 
"tabela de resultados de [random 4]"). 

Na figura 4.72 podemos ver o que acontece dentro do sub-patch [pd tonica], onde a nota 
sorteada sera a tonica de uma triade maior ou menor dependendo do resultado de [random 2]. 
A figura 4.73 mostra um pequeno exemplo dos resultados desse harmonizador. Nesse exemplo, 
a primeira nota harmonizada e um si que virou terca maior de uma triade maior. Um aspecto 
interessante desse harmonizador e que mesmo em exemplos curtos quase sempre se chega a 
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Figura 4.72: sub-patch "pd tonica" 
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Figura 4.73: resultado da harmonizacao com modo 1 

relacoes de mediantes cromaticas, como e o caso do terceiro e quarto acordes (Mib - Lab), 
nesse caso uma relacao enarmonica de mediante cromatica. 

Apesar de muitas vezes os acordes gerados pelo harmonizador diatonico possuirem uma 
relacao cromatica, todos os acordes gerados sao triades maiores ou menores. Para criar um 
contraste foi criado um harmonizador de acordes alterados que esta na figura 4.74. Nesse har- 
monizador todas as notas que entram sao tonicas e todas sao harmonizadas. A escolha do acorde 
para cada nota e feito atraves de distribuicao de probabilidade, arranjado com o objeto [moses]. 
Quando uma nota entra, ela gera randomicamente um numero de a 99 com o objeto [random 
100], esse valor entao e enderecado a um dos quatro tipos de tetrades possiveis nesse patch: 
aumentado com T menor, alterado com 5 a diminuta (6 a aumentada Frances), menor com setima 
maior ou maior com setima maior. Cada uma das quatro tetrades tem 25 por cento de proba- 
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Figura 4.74: harmonizador dissonante , modo 2 



bilidade de aparecer. Cada membro dos acordes e enderecado a um gerador de sintese aditiva 
com amplitude bem baixa. Em funcao da amplitude bem baixa do harmonizador de acordes 
alterados, o resultado funciona bem como uma textura dissonante. 

O objetivo e a investigacao de possibilidades e prototipacao de estruturas computacionais 
com objetivo de agregar interatividade ao trabalho composicional. Apesar desses harmoniza- 
dores terem sido usados nessa pesquisa para interacao com audio em tempo-real, podem ser 
muito uteis como geradores de material escrito em notacao tradicional, como mostra a figura 
4.75. Esta imagem mostra o patch de Pd mandando as informacoes para o programa de notacao 
Rosegarden atraves do programa Jack que funciona como um servidor de comunica§ao entre 
programas. Esse tipo de operacao possibilita uma usabilidade do Pd semelhante ao programa 
Open-music 15 desenvolvido no Ircam. 



I5 Disponivel em: http://repmus.ircam.fr/openmusic/home 
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Figura 4.75: pd, jack e rosegarden 
Acorde pertence a colecao de notas 

No patch da figura 4.76 e implementado um harmonizador simples, onde a sequencia dos 
acordes e a conducao vocal e totalmente randomica. A unica regra e que as notas usadas na 
composicao dos acordes tenham sido tocadas pelo musico. Podemos ver o resultado desse 
algoritmo na figura 4.77. 

Sequencia baseada em regras 



Para implementacao de regras mais refinadas de progressao harmonica foi desenvolvida uma 
estrutura de decisao baseada em uma cadeia de markov. Para isso foi definida uma estrutura de 
prototipacao e definicao de possiveis acordes de escolha pelos estados da cadeia de markov. 

A abstracao [sine-chord] vista na figura 4.78, recebe uma variavel global "tonalidade", que 
varia de a 127. Essa variavel funciona como o elemento na definicao do acorde. A definicao 
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Figura 4.76: Patch que harmoniza de acordo com as notas executadas pelo musico estocadas 
em um array 
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Figura 4.77: Resultado de harmonizador automatico com acordes pertecentes a colecao de notas 
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Figura 4.78: abstracao [sine-chord] para criacao de cada acorde 



do acorde e dada por quatro parametros definidos em cada instancia de [sine-chord]. Por exem- 
plo, se a variavel "tonalidade" for definida como 60 (do), uma instancia definida como [sine- 
chord 3 5 10] gera o acorde do-mib-sol-sib (60 63 65 70). A primeira saida e como mensagem 
MIDI, enviada a algum sintetizador externo, definida numa sequencia de objetos [poly], [pack 
0] e [route 1 2 3 4]. Outra saida e uma lista com os quatro valores de pitch do acorde, enviado 
por outlet para uso interno no Pd. 

A partir da definicao de [sine-chord], foi feito um prototipo de listagem de acordes possiveis 
em [sinc-chord-list], visto na figura 4.79. Na figura vemos um objeto [select] principal que 
recebe a variavel global "novo_acorde" que aciona as instancias de cada tipo de acorde especi- 
ficados pelo objeto [sine-chord] correspondente. 

A ordem de cada acorde na progressao e definido na figura 4.80. A estrutura de decisao e 
baseada em uma cadeia de markov com tres estados e nove possibilidades de resultado. Cada 
estado representa uma das tres principals funcoes tonais (tonica, sub-dominante e dominante). 
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Figura 4.79: Abstra§ao [sinc-chord-list] para listagem de diversos acordes 
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Figura 4.80: Exemplo de harmonizador baseado em cadeia de markov 
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Dentro de cada estado foram definidas algumas probabilidades de ocorrencia de acordes. Por 
exemplo, se o acorde "V" for selecionado, a variavel global "state" sera enviada com o simbolo 
"dominante" e o proximo acorde sera com 70% de chance "vi", 10% "IV" e 20% "vii". O 
resultado da escolha e enviada com a variavel global "novo_acorde" para [sinc-chord-list] para 
executar o acorde escolhido. 

O proximo passo da pesquisa em harmonizacao sera criar um mecanismo que analise pro- 
gressoes e retorne as probabilidades de ocorrencia que poderao mudar automaticamente as pro- 
babilidades da cadeia de markov, alterando os valores dos objetos [moses], criando assim, novas 
relacoes de probabilidade de progressao harmonica. 
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4.4 Geradores de Sintese 

As operates de sintese sonora sao um campo em expansao para o desenvolvimento de no- 
vos timbres. Em Pd podemos modelar o timbre com operacoes matematicas em sinal de audio 
a partir de geradores. Na perspectiva de um compositor, programar em Pd abre um cami- 
nho para a livre experimentacao e desenho de audio em tempo-real. A propria interface de 
programacao, exige que o musico/programador execute as conexoes graficas escutando os re- 
sultados das operacoes. A propria operacao e visualizacao grafica do resultado possibilita a 
precisao na concepcao sonora do desenho de audio. 

O campo de pesquisa em sintese sonora digital e grande e vem crescendo nos ultimos anos. 
Com a possibilidade dos compositores atuarem ativamente na concepcao do timbre de suas 
composicoes, como e o caso desta pesquisa. E tambem pela emergencia da atividade de desenho 
de som 16 , principalmente no cinema, televisao e jogos. Dentro do campo do desenho sonoro os 
principals focos de pesquisa sao a captacao e o audio processual 17 que e um conceito amplo em 
que essa pesquisa pode estar inserida. 

Uma estrategia composicional a ser desenvolvida e devidamente descrita e a consideracao e 
demarcacao de pontos de contraste total entre som instrumental e som sintetico. A partir dessa 
demarcacao pode-se explorar "cenarios de fusao" e matizes sonoros fronteiricos entre os pontos 
de contraste,. Alguns procedimentos semelhantes sao usados em tecnicas de musica espectral e 
musica eletroacustica mista. 



16 sound design 

17 traducao livre de "Procedural audio" apresentado no artigo Designing Sound de Andy Farnell(Farnell 2010). 
Na traducao optei por audio processual, que reforca a ideia de criacao de um ambiente sonoro interativo em 
processo e se aproximar do sentido original: 

Procedural audio is sound qua process, as opposed to sound qua product. Behind this statement 
lies a veritable adventure into semiotics, mathematics, computer science, signal processing and mu- 
sic. Let us reformulate our definition in verbose but more precise modern terms before moving 
on. Procedural audio is non-linear, often synthetic sound, created in real time according to a set 
of programmatic rules and live input. To further define it let's explain it in terms of linear, recor- 
ded, interactive, adaptive, sequenced, synthetic, generative and AI audio. Let's also analyse some 
other phrases like algorithmic composition and stochastic music. By doing so, we may reach an 
understanding of why procedural audio is so powerful and important. 
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Figura4.81: [sinc-gera-sintese] 

Nessa segao vao ser abordadas tecnicas classicas de sintese sonora e maneiras de conectar 
essas tecnicas com a analise de audio em tempo-real. O objetivo e criar situa§oes de dialogo 
entre instrumentos tradicionais e sons sintetizados. 

Na implementa§ao sao usados objetos geradores de sinal como por exemplo [osc~] e [pha- 
sor~] e controladores de envelope sonoro como [line-] e [vline-], alem de escrita de audio em 
arrays e mensagens de controle. No Pd existe a necessidade de um cuidado na concatena§ao 
entre sinais de audio e mensagens de controle como visto na secao de metodologia A. 2. 

Os resultados apresentados sao na maioria implementacoes simples, que sao combinados du- 
rante a performance, oferecendo uma boa paleta de sons reativos para o instrumentista/compositor. 
Para isso e mostrada uma interface simples de todos modulos de sintese. Ainda ha muito a ser 
explorado no campo da sintese controlada por parametros de analise de audio, aqui e apresen- 
tada uma metodologia de trabalho para expansao de possiblidades. 
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4.4.1 Objeto [sinc-gera-sintese] 

Nessa abstracao procura-se administrar a interacao do musico com diversas geradores baseados 
em diferentes tecnicas de sintese, oferecendo uma paleta de timbres ao compositor. 

Os primeiros quatro sintetizadores descritos aqui, foram pensados como o mesmo sinteti- 
zador, tendo sido implementados como quatro separados, como estrategia composicional na 
organizacao das mensagens dos cenarios de interacao. 

A superposicao ou justaposicao de diferentes sintetizadores vai ser derinida pelo comporta- 
mento pre-estabelecido pelo cenario de interacao proposto. 

Sintese aditiva com as notas da entrada de audio 

Na figura 4.82 vemos um gerador de sintese aditiva com tres osciladores [osc~] somados com 
2 objetos de soma de audio [+-]. 

A frequencia de cada oscilador e determinada por uma leitura randomica da tabela de notas 
que sao executadas pelo musico. Cada nota detectada pelo objeto [sinc-audioanalise] e enviada 
para o array $0-nota que tern 8 elementos. Cada oscilador acessa esse array com o objeto 
[random] e manda a nota para o objeto [mtof] que converte o valor de nota midi para valor 
de frequencia. Apesar das notas terem sido executadas pelo musico, as novas combinacoes de 
notas causadas pela leitura randomica cria uma sensacao de elemento novo no discurso musical. 

Cada nota e acionada pelo objeto [metro] que tem argumento de tempo constantemente re- 
calculado de forma randomica. O objeto [metro] produz pulsos regulares (bangs) de acordo 
com o argumento que representa o valor de tempo entre cada bang em milisegundos. Isso causa 
um ritmo fragmentado, gerando padroes ritmicos instaveis. 

A amplitude desse sintetizador e fixa, com envelope feito com o objeto [line-]. As fases de 
ataque e decaimento de cada acorde sao feitas com 2 mensagens, a primeira enviada imediata- 
mente realiza o ataque e a segunda e agendada como o objeto [del] que realiza uma linha de 
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ob jetivo: 

harmonizar com notas da tabela 



Figura4.82: [pd geradorO-diato] 

atraso responsavel pelo decaimento. A amplitude resultante dos 3 osciladores e normalizada 
com o objeto [*~] com argumento 0.2. 

No resultado da sintese e aplicado um delay com valor de escrita e leitura fixos. O delay e 
obtido com a combinacao dos objetos [delwrite-] e [delread-]. O audio resultante da sintese e 
escrito em uma memoria temporaria com o objeto [delwrite-] designado com o nome "delay3" 
e tendo o tamanho total de escrita de 2000 milisegundos. Essa linha de delay chamada "de- 
lays'^ lida pelo objeto [delread-] e enviada novamente para a escrita do delay com [delwrite-], 
causando um efeito de feedback de delay. Antes da leitura do delay ser enviado novamente para 
a escrita, ele e normalizado com o objeto [*~] em 0.7, o que causa um efeito de eco ou reverb 
exagerado. 
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Figura4.83: [pd geradorO-rand] 

O efeito musical resultante desse sintetizador e semelhante a um harmonizador que ecoa 
combinacoes inusitadas das frequencias executadas. O reconhecimento das frequencias con- 
trasta com o ritmo randomico gerando uma familiaridade apesar do contraste. 

Sintese aditiva com frequencias randomicas 



Esse gerador e basicamente igual ao anterior com a diferenca de que as frequencias sao total- 
mente randomicas, sem usar nenhum material fornecido pelo musico. A escolha das frequencias 
e feita baseada em um objeto [random] com argumento 127, podendo aparecer qualquer valor 
de a 127. Os outros dois osciladores recebem esse valor randomico e cada um soma a esse, 
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Figura 4.84: [pd geradorl-diato] 



outro valor randomico de a 12, resultando em um acorde sempre com as tres notas dentro da 
mesma oitava. 

Esse modulo de sintese e usado como contraste em relacao ao anterior. Dentro de um discurso 
musical interativo e importante que existam geradores que proponham e acrescentem elementos 
estranhos ao que o musico executa. Pode-se, por exemplo, usar em tempo-real o indice de 
analise de permeabilidade melodica executada pelo musico para, a partir de determinado valor 
desse indice, o programa alternar automaticamente entre esses dois diferentes sintetizadores. 
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Figura4.85: [pd geradorl-rand] 

Tempo de delay randomico com frequencias da tabela 

Esse patch cria variacao dos tempos de escrita e leitura de linhas de delay, o que causa o apa- 
recimento de padroes rftmicos mais complexos e instaveis. O resultado e uma textura que varia 
de sons sustentados (com valor de feedback alto) ate sons curtos, sempre com as notas da tabela 
de frequencias executadas pelo performer. A visao geral do patch esta na figura 4.84. 

Gerador de frequencias randomicas com tempo de delay randomico 



Esse patch e praticamente igual ao anterior, com a diferenca de que as frequencias sao sempre 
randomicas como mostra a figura 4.85. Cria um bom contraste em relacao a sonoridade do 
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Figura 4.86: [pd fml] 

anterior mantendo a semelhanca da sintese aditiva com as linhas de delay. Para o musico, as 
situacoes interativas em que a frequencia e totalmente randomica sempre sao mais desafladoras 
pois ai o papel do instrumentista se torna a conexao da logica narrativa em gestos que a principio 
nao estavam ligados. 

Sintese FM responsiva 



Na figura 4.86 vemos um patch que realiza uma sintese por frequencia modulada (FM). Todos os 
parametros sao conduzidos pela analise da performance musical. Quando o sistema detecta uma 
pausa na execu§ao, aciona um novo sorteio de indice e frequencia da moduladora. A frequencia 
da portadora e definida pela tabela de frequencias executadas pelo musico e a amplitude geral 
segue a amplitude da performance. 
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Figura 4.87: [pd noise] 
Ruido branco com filtro de frequencias executadas pelo musico 

O objetivo desse gerador e materializar a ideia de um instrumento que esculpe um ruido branco 
([noise-]). Nesse primeiro experimento da figura 4.87, foi usado um objeto [vcf~], que e um 
filtro passa-banda controlado por voltagem. A "voltagem" da definicao do objeto se refere a 
analogia do resultado sonoro com o dispositivo de filtro controlado por voltagem presente em 
sintetizadores analogicos. Se distingue dos outros objetos de filtragem em Pd por usar uma sinal 
de audio para definir a frequencia central. A cada deteccao de pausa a intensidade do filtro e 
randomizada. 

Sintetizador com forma de onda variavel 



Nesse gerador, a cada deteccao de pausa por parte do musico, o patch escolhe entre duas formas 
de onda para oscilar uma frequencia definida em um array preenchido pelo proprio musico. Na 
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Figura4.88: [pd synth-waveforms] 

figura 4.88 vemos a estrutura do patch. O objetivo e criar variacoes de dialogo entre miisico e 
computador. 

Sintetizador baseado em analise e resintese 



Esse sintetizador e baseado na ideia de analise espectral do fluxo de audio e resintese a partir 
dos dados extraidos dessa analise. A analise e feita com o objeto [sigmund-] pre-definido com 
as saidas "peaks"e "tracks", que retornam listas de frequencia, amplitude e fase para, nesse 
caso, um banco de doze osciladores para cada saida como pode ser visto na figura 4.89. Nas 
figuras 4.90 e 4.91 sao mostrados o banco de osciladores no subpatch [pd banco de osciladores] 
e a formacao de cada subpatch do banco contendo um objeto [osc/texttildelow] cada. 

O efeito obtido pode ser chamado de resintese de baixa resolucao. O objetivo inicial era pro- 
duzir um sintetizador que fosse muito sensivel a pequenas variacoes timbristicas. Por exemplo, 



130 




pd banco de osciladoresl 



Figura 4.89: [pd gerador-resintese] 



quando um violonista pinca a corda do violao com diferentes angulos da unha, sao produzi- 
das variacoes espectrais sutis que servem bem ao controle de sintese. Na re-construcao do 
som a principal caracteristica desse gerador e um timbre robotico muito sensivel a variacoes 
de timbre no sinal de entrada. Pode-se ver na figura 4.92 um espectrograma comparativo en- 
tre uma amostra de violao e a respectiva resintese com esse gerador. Nota-se um certo "de- 
feito"de re-constru§ao no trecho destacado, proveniente de uma variacao timbrfstica provocado 
por diferenca do toque. 
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Figura 4.90: banco de osciladores 



4.5 Processamento de sinal de audio 



Algumas pesquisas demonstram interesse pela performance musical controlando parametros de 
processamento, como em Grahan (colocar ref do rickygrahan.com) 

Diversas tecnicas de processamento digital fazem parte do repertorio composicional com 
computadores. Muitos programas de computador realizam as mesmas tecnicas com algumas 
diferencas na implementacao. 

As tecnicas de processamento digital mais conhecidas emulam dispositivos eletronicos que 
operam no sinal analogico atraves de circuitos eletricos. Sao muito comuns em estudios a 
presenca de "modulos de reverb" ou "pedais de efeito" para instrumentos. Na implementacao 
computacional, essas funcionalidades podem ser expandidas possibilitando controle em tempo- 
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Figura4.91: [pd osc] 
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Figura 4.92: Espectrograma do som original e do som resintetizado 
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Figura 4.93: Patch mostrando um ring modulator simples 

real e integracao com a performance musical, criando um ambiente musical interativo que ex- 
pande e transforma o gesto original do miisico. 

O principal objetivo dessa secao e criar ferramentas que re-combinem o sinal de audio de 
entrada de maneira a ser controlado pelo proprio fluxo de audio sub-sequente. Musicalmente, 
sao buscadas texturas que usem o proprio audio como fonte garantindo assim uma unidade 
sonora a partir da fonte. 

Para aplicar uma tecnica de processamento, primeiro se deve amostrar o audio a ser proces- 
sado. No caso dos objetos de loop, o audio e gravado em um array e lido repetidamente nesse 
array. Ja o delay variavel vai ter uma janela de escrita e de leitura variaveis desse sinal. O motor 
basico dos loops implementados sao feitos com o objeto [tabplay-] que le arrays de audio sem 
alterar o tempo ou frequencia. Esse objeto preve um metodo de comeco e fim da leitura em 
numero de samples. 

Tambem podemos processar o sinal de audio em tempo-real, como e mostrado na figura 4.93, 
onde e implementado um ring-modulator simples. 
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Figura 4.94: Patch mostrando uso de objetos de SInCoPA misturados com objetos nativos e 
abstracoes DIY2 

Outros objetos e abstracoes tambem sao usados e comparados, durante as experimentacoes 
como a biblioteca DIY2 e rj. Na figura 4.94 vemos uma situacao de prototipacao rapida, usando 
objetos de SInCoPA juntamente com objetos nativos de Pd e uma abstracao DIY2 [mono- 
vibrato], que implementa um ring modulator mais complexo. O patch mostrado na figura 4.94 
foi usado na performance /usr/maquina4/compartida~ com outros 3 musicos. 

Uma parcela importante de tecnicas de processamento de audio digital corresponde as tecnicas 
de fusao espectral como phase vocoder, convolucao e sintese cruzada. Varios autores vem tra- 
balhando para otimizacao desses efeitos em tempo-real (Porres ), (Kreidler 2009). 
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Figura 4.95: Abstracao de controle de delay variavel 



4.5.1 Delay variavel 



O delay e um efeito que cria uma linha de atraso de audio e possibilita um leque grande de gestos 
sonoros. Num modulo de delay analogico, o musico escolhe diferentes elementos da execucao 
para aplicar delay de tempo variavel: uma nota, um acorde da guitarra ou uma palavra do cantor. 
Essas decisoes de certa forma sublinham esses elementos colocando marcas na audicao. Essa 
chamada de atencao para esses elementos criam uma sensacao de narrativa musical interessante 
do ponto de vista composicional. 

Foi criada uma abstracao que possibilita uma linha de delay simples com valores de tempo 
e feedback variaveis. A estrutura basica esta na figura 4.95. O objeto [delwrite-] escreve uma 
linha de atraso de audio de 500 milisegundos num buffer de memoria temporaria com a variavel 
$0-delay. Essa linha e executada pelo objeto [vd~] colocando nele o argumento $0-delay. Para 
se criar o efeito de "eco" ou feedback, podemos enviar o audio para ser somado com o sinal 
original e enviado para [delwrite-] novamente, criando assim, uma retro-alimentacao continua 
de audio. Para se determinar a quantidade de feedback podemos controlar a amplificacao do 
sinal resultante antes de retornar a [delwrite-]. 

Uma possibilidade de implementacao mais refinada de delay e a tecnica de "delay espectral" 
(Barknecht 2007), onde alem da linha de atraso e feedback, pode-se controlar elementos do tim- 
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bre, uma vez que o sinal e decomposto por analise FFT e recriado a partir de seus componentes 
de frequencia, amplitude e fases separados. 

4.5.2 Repeticao 

A repeticao e contraste podem ser consideradas as duas principals forcas da composicao. Nessa 
abstracao buscou-se criar uma ferramenta que forneca ao musico a possibilidade de criar multiplas 
linhas de repeticao de tamanhos diferentes nao pre-definidos. O loop, ou repeticao de um trecho 
de audio e um procedimento comum, sendo encontrado em diversos dispositivos e equipamen- 
tos de producao musical. 

O mecanismo do loop baseia-se na escrita de linhas de audio em arrays e subsequente repeticao. 
O musico controla a interface atraves de um teclado USB modificado e usado como pedal, ex- 
plicado mais a fundo na secao sobre cenario de interacao. 

Nesse caso particular o objetivo e determinar outras construcoes ritmicas, fora de controles 
MIDI e sequenciadores baseados em objetos [metro], ainda que essa opcao esteja sinalizada na 
implementacao. A repeticao e baseada no tamanho da prorpia linha de audio gravada. 

Objeto [sine-loop] 

Em uma primeira implementacao vista na figura 4.96, foi pensado um loop simples. Com um 
botao que seleciona o canal, outro botao que quando pressionado comeca a gravar e quando 
pressionado novamente para a gravacao e automaticamente comeca a repetir o trecho gravado. 
A implementacao e baseada no objeto [timer] para medir o tempo entre o comeco e o final da 
gravacao. O objeto [tabwrite-] opera a gravacao em um array e o objeto [tabplay-] executa o 
audio gravado. 

Na figura 4.97, vemos a implementacao de [sinc-loop-master], que leva a frente o mesmo 
mecanismo acrescentando um metronomo e um contador global. A funcao desse contador e 
uma possivel futura sincronia com sequenciadores diversos, inclusive para performance musical 
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via rede (musica telematica). Para a execucao do loop pode ser levado em conta o metro global 
ou nao. A divisao entre cores facilita o estudo do fluxo dos dados. A abstracao [sinc-loop-slave] 
e uma versao sem o contador global e pode ser vista na figura 4.98. O uso concatenado e visto 
na figura 4.99, onde vemos a presenca de um [sinc-loop-master] e tres [sinc-loop-slave]. 

Existem diversas situacoes de loop comuns na produ§ao musical mediada por tecnologias 
digitals como por exemplo, linhas de loop com tempo livre como nos pedais de efeitos, onde o 
instrumentista tem um certo niimero de linhas de audio disponiveis e alguns botoes de controle. 
E situacoes em que a linha de audio gravada em tempo-real pelo miisico e esticada ou encolhida 
o minimo possivel para encaixar na metrica de um sequenciador como por exemplo o sequenci- 
ador comercial Ableton live. Nao cabe aqui julgar o valor estetico causado por uma ferramenta. 
Mas sim trazer a tona a discussao sobre a consciencia, por parte do compositor, da natureza da 
ferramenta e de como o pensamento composicional interage com essa interface. 

Para a continuagao dessa pesquisa o ideal seria um sistema de loop baseado no objeto [ta- 
bread4~] que permite o "stretch" da leitura do audio. Isso possibilita que o programa ajuste o 
loop a qualquer tempo pre-definido por algum sequenciador. 

4.5.3 Fragmenta^ao 

A recombinagao de trechos sonoros executados previamente e uma grande fonte de gestos mu- 
sicals e experimentacao sonora. Um fluxo de audio quando gravado e fragmentado em trechos 
pode criar uma sensacao de descontinuidade e nao-linearidade da memoria curta ao mesmo 
tempo que guarda uma unidade perceptual em funcao de estar usando o audio que acabou de 
acontecer. 

O objetivo desse modulo e fazer com que trechos do audio da performance sejam segmen- 
tados e passiveis de recombinagao em diversos modos e tambem controlados pela execu§ao 
musical. 
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Figura 4.96: loop simples 
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Figura 4.97: [sinc-loop-master 
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Figura 4.98: [sinc-loop-slave] 

O primeiro elemento dessa abstracao e um gravador de audio que escreva um fluxo de audio 
em uma tabela (array) que possa ser acessado pelo motor de recombinacao de "fatias" de audio. 
Uma pequena abstracao com essa finalidade pode ser vista na figura 4.100. 

O funcionamento basico de um sistema de segmentacao de amostras de audio pode ser visto 
na figura 4.101, baseado nos objetos [vline-] e [tabread4~]. Nesse caso os segmentos sao feitos 
automaticamente baseados na duracao total da amostra e feitos de maneira simetrica. O motor 
central da execu§ao dos segmentos e mostrado no detalhe da figura 4.103. A relacao esta no 
fato do objeto [vline-] cria uma linha de leitura que e interpretada por [tabread4~] como valor 
de inicio e fim de leitura em samples e tempo dessa leitura o que acaba por afetar a duracao ea 
frequencia do audio resultante. A abstracao [sinc-slicer] e uma interface mais refinada e pode 
ser vista na imagem 4.102, onde os pontos de inicio e fim do segmento sao definidos pelos dois 
sliders abaixo da forma de onda. 
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Figura 4.99: Uso de dois [sinc-loop-slave] e [sinc-loop-master] 

Durante o andamento da pesquisa, foi usada a interface do projeto Navalha de Guilherme Soa- 
res, como principio de experimentacao. O Navalha e uma ferramenta que estabelece um metodo 
para segmentacao e sequenciamento de recortes de amostras de audio. A interface grafica prove 
acesso as funcionalidades, como carregar sample, segmentar trechos manualmente, sequenciar 
e salvar presets. Ao mesmo tempo e possivel usar o Navalha sem a interface grafica, embutido 
em outro projeto como e o caso aqui nessa pesquisa. 

A funcionalidade da interface e bem completa e permite acesso a muitos aspectos da segmentacao 
e do sequenciamento. 



O objeto nvl cria instancias de um sequenciador de fatias (slices) de .wav que 
podem ser editadas e salvas na propria interface grafica deste objeto. Estabelece 
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Figura 4.100: [sinc-gravador] 



tambem um arquivo padrao de metadados que permite que estas fatias sejam recar- 
regadas na exata posicao de onde foram salvas anteriormente - o arquivo .nvl. 

Estas fatias podem ser tocadas de maneira nao-linear modificando padroes (pat- 
terns) de um sequenciador embutido que toca numa velocidade determinada em 
batidas por minuto (podem ser subdivididas dentro desta mesma batida) a atual 
fatia numa sequencia determinada por este "pattern". 

Os objetos [nvl] podem ser conectados em cascata, pelos seus primeiros inlets e 
outlets - determindo assim um master da conexao mais acima que pode sincroni- 
zar os sequenciadores de patterns - determinando um "master sequencer" que ira 
controlar os demais "slaves" nvl. Estes pattern tambem podem ser salvos dentro 
do arquivo .nvl criando assim uma possivel navegacao de cliches (ou "riffs") que 
podem ser recuperados e repetidos durante uma performance. 

Os controles de edicao da performance ja estao todos mapeados para controlesvia 
teclado do seu computador. Se voce necessita desligar esta funcao num objeto nvl, 
basta desligar a funcao "key" que fica no canto inferior esquerdo. Obviamente se 
duas instancias nvl estiverem com "key" ligado, ambas serao controladas simulta- 
neamente pelo seu teclado. (Soares 2009) 
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Figura 4.101: Fatiador automatico de segmentos simetricos 

Podemos ver na figura 4.104 uma visao geral das entradas e saidas do objeto [nvl] e na figura 
4.105 um detalhamento dos controles do sequenciador embutido que sao explicados na lista 
abaixo. 



a) Oudet de saida do sincronismo master-slave. Conduz o cursor do sequencer e 

o bpm atual. 

b) Oudet que mostra a posicao atual do cursor. 

c) Sequencia de slices que sera executada durante a passagem do cursor master. 

d) Selecione a simetria de fatias desejada. 

e) Escolhe um numero limite de slices que sera randomizado e cria uma sequencia 

de numeros randomicos para um pattern. 

f) Pattern de uma sequencia padrao para frente e para tras e zero. 
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Figura 4.102: [sinc-slicer 
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Figura 4.103: Motor basico da segmenta§ao do audio 
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Figura 4.104: Visao geral das entradas e saidas do objeto [nvl] 




Figura 4.105: Detalhe dos controles do sequenciador do [nvl] 
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Figura 4.106: controle externo dos parametros do navalha 

g) Carrega 10 patterns diferentes que estao salvos na matriz buffer da memoria. 
Estes patterns sao carregados no arquivo .nvl ou podem ser salvos com o pro- 
cedimento descrito abaixo no item "h". 

h) Botao store (ou atalho shift+s) serve para atualizar no buffer de memoria ram 
(nao salva em disco) os atuais presets dos slices e patterns. Para salvar em 
disco, voce precisa dar um nome de arquivo na janela save-preset do canto 
inferior direito. 

i) Number box que define o numero de celulas que o cursor vai correr. Isto torna 
possivel fazer uma sequencia com tempos impares ou diferentes de 8 batidas 
por compasso. 

j) Liga/Desliga os atalhos do controle de teclado. 

k) Liga/desliga sequencia master. E possivel tocar mais de um master, mas obvia- 
mente nao estarao imediatamente sincronizados. 

j) Cursor do sequenciador, dispara fatia atual. (Soares 2009) 
Na figura 4.106 vemos as mensagens que permitem controles externos do navalha. 



Ainda no tutorial: 
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Figura4.107: [mininvl] 



1 . slice (numero da fatia) 



2. tempo (com duas variaveis - bpm e divisao do compasso) 



3. preset (nome do arquivo nvl - que deve estar na pasta presets) 



4. pattern (numero do pattern do buffer de 1 a 10) 



5. key (liga e desliga acesso a teclado) 



6. seq (liga e desliga sequenciador) 



7. vol (volume de a 1) 
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8. random (numero limite da celula do pattern seguido de gerador randomico de pattern) 

9. pitch (intervalo em semi tons em relacao a nota atual) 

10. div (numero de celulas no compasso atual do sequenciador) 

1 1 . normalize (bang - normalizar a faixa na ampliude maxima) 

12. mono2x (bang - duplicar uma faixa mono para dar um falso efeito estereo) 

13. simetria (numero de slices - cria slices simetricos em divisao exata do tempo total) 

14. wav (nomedoarquivo.wav abre um arquivo .wav que esteja na pasta samples) (Soares 
2009) 

Nesse projeto, o mapeamento do audio do musico controla aspectos do sequenciador como 
o tempo, o numero de segmentos e acionamento individual de cada segmento. O funciona- 
mento pode ser visto numa interface minimalista do objeto [nvl] na figura 4.107. Muitas outras 
variacoes de controle podem ser pensadas e definidas em diferentes cenarios de interacao. 

4.5.4 Sintese granular 

Sintese granular e uma tecnica que combina sintese aditiva e amostragem (sampleamento). 
Cada "grao" e um trecho de uma amostra de audio somado a outros graos, podendo resultar 
em texturas unicas, que seriam praticamente impossiveis de serem editadas grao por grao em 
um editor de audio. Os resultados variam desde um leve deslocamento na leitura de uma amos- 
tra ate efeitos mais complexos como "nuvens de graos". 

Dois efeitos familiares sao time- stretching e pitch-shifting, que podem ser vistos como dois 
lados de um processo em comum chamado pitch synchronous overlap an add (PSOLA). Um 
som pode ser dividido em pequenos segmentos que se sobrepoe e entao cada segmento e exe- 
cutado em sequencia de maneira que o som original seja obtido. Para extender um som se 
adiciona copias extras dos graos mudando a extensao e a duracao de sobreposicao de maneira 
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Figura 4.108: abstra§ao [grainvoice] 
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Figura 4.109: subpatch gerador de uma curva de Gaussian 
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que a extensao total seja maior ou menor que a original. Nesse caso todos os graos sao obtidos 
da mesma fonte sonora. 

Foi desenvolvida uma abstracao com objetivo de possibilitar sintese granular em tempo-real 
usando como fonte sonora o proprio som do instrumento que esta sendo executado. E alem 
disso facilitar o controle dos parametros da sintese granular pela analise da performance do 
musico. Diversos efeitos e texturas complexas podem ser obtidas atraves do gesto de controlar 
parametros dos graos com um instrumento. 

O motor de funcionamento da sintese granular e baseado em modificacoes de um exemplo do 
livro "Designing Sound" (Farnell 2010). Podemos ver na figura 4.108, a estrutura da abstracao 
[grainvoice], que define o comportamento de uma "voz". Nesse contexto, "voz" significa uma 
camada de graos justapostos. O funcionamento basico se da atraves de um leitor de tabela 
([tabread4~source-array]) que e modulado por um gerador de envelope ([tabread4 grain-env]). 
Os dois arays sao visiveis na visao geral do patch na figura 4.1 10. O array grain-env e definido 
no subpatch da figura 4.109, e se trata de uma janela "raised cosine", tambem chamada de 
"hanning window" que e computada como 0.5+cos(x)/2 entre -pi e +pi. 

O componente central de [grainvoice] e um objeto [vline], que recebe uma mensagem para 
criar uma linha que vai de 0.0 a 1 .0 durante um certo intervalo de tempo. Esse intervalo de tempo 
e a duracao do grao, que e substituido no segundo elemento da segunda lista da mensagem de 
[vline]. A linha gerada aciona simultaneamente os dois arrays e posteriormente seus resultados 
sao multiplicados. 

Os parametros grainpitch, graindur e grainstart controlam o som resultante. Esses aparecem 
sob duas formas. Primeiro, como variaveis globais e determinam a frequencia, duracao e ponto 
de inicio de leitura para todos os geradores de graos ([grainvoice]) do patch inteiro. As variaveis 
globais sao modificadas por versoes locais (com prefixo $0-my) que determinam parametros 
unicos para cada instancia de [grainvoice]. Quanto maior a diferenca entre os parametros de 
cada voz mais nos aproximamos do efeito de "nuvens de graos". 
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Figura 4.1 10: Visao geral de funcionamento de sfntese granular 



Na figura 4.110 sao usadas quatro instancias de [grainvoice] . No canto inferior esquerdo 
da figura vemos o controle das quatro variaveis globais. Observando que o objeto [soundfiler] 
envia o tamanho do arquivo carregado, em numero de amostras, atraves da variavel filesize. O 
primeiro controle usa esse valor para escalonar o parametro grainstart de maneira que o valor 0.0 
sempre represente o comeco do arquivo e 1 .0 o final do mesmo. A duracao do grao e controlada 
por graindur e e dada em milisegundos, variando de 10 mseg ate 2000 mseg. A frequencia do 
grao e centrada em 1.0, que executa o arquivo no usual 44.1kHz. Ao mover o slider para a 
esquerda ou direita do centro, ele retarda ou acelera a execucao da amostra. Por ultimo vemos 
o parametro overlap que varia de 1.0 a 2.0. 

A parte principal do patch da figura 4.110 esta na direita. E um sequenciador baseado 
no objeto [metro] controlando um contador que devolve numeros entre e 3, que servem 
como indices de listas que ao final sao roteados com o objeto [route] para quatro instancias 
da abstracao [grainvoice]. Cada lista contem ainda dois valores randomicos para cada instancia 
de [grainvoice]. A frequencia do objeto [metro] e calculada de acordo com a duracao do grao 
. Aqui e onde a variavel overlap tambem influencia. Se overlap tiver o valor 2, a frequencia de 
[metro] sera 1/4 da duracao do grao de maneira que a execucao do primeiro grao ira finalizar 
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Figura 4.111: visao geral da alteracao de overlap 

em tempo de ser executado novamente. Para valores menores haverao menos sobreposicoes 
(overlaps) de graos. Essa variavel muda a densidade da textura, variando de um efeito de des- 
locamento da leitura da amostra que pode lembrar um efeito de "chorus" ate variacoes mais 
caoticas. Por fim e acrescentada uma abstracao de reverb ([rev3]) ao final do audio do patch. 

Objeto [sine-granular] 



Nesse modulo tambem foi usada a abstracao [sinc-gravador] ja vista na figura 4.100. Com 
finalidade de facilitar a interacao em tempo-real com um musico. 

Outra parte da abstracao, diz respeito ao mapeamento dos dados de analise para controle dos 
parametros de sintese. Um elemento alterado em relacao ao exemplo original de Andy Farnell e 
a definicao da variavel local $0-mydur, onde e acrescentado um subpatch que possibilita definir 
um valor fixo ou randomico para todas as vozes, resultando assim, numa variacao entre uma 
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Figura4.112: subpatch [pd randomize] 



textura mais sincrona e outra mais assincrona. Como pode ser visto na figura 4.111, e no 
detalhe do subpatch na figura 4.1 12. 
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4.6 Cenario de interacao 

O conceito de cenario aqui e usado como a maneira de concatenacao entre os parametros da 
analise de audio e os geradores de material musical. 

Cada parametro da analise da performance do musico pode ser mapeado como controlador 
de algum aspecto da geracao de material musical. Por exemplo, a instabilidade ritmica pode 
ser mapeada para a geracao de duracoes de notas MIDI. De forma imitativa ou contrastante, a 
depender da proposta composicional. 

O cenario de interacao e uma parte do sistema onde se declaram as maneiras de mapeamento 
dos parametros da composicao final. A maneira como o sistema interpreta cada parametro da 
analise da performance pode variar ao longo da composicao e e definido em cada cenario. 

Pode-se propor a ideia que o ato composicional esta na definicao do cenario de interacao. A 
relacao entre gesto musical/instrumental e o resultado sonoro vai depender dos mapeamentos 
descritos no cenario de interacao. Durante uma performance instrumental acustica, a relacao 
cinestesica entre gesto fisico e resultado sonoro e absoluta. Na descricao do cenario de interacao 
essa relacao pode sofrer alteracoes ao ponto do proprio instrumentista perder o controle e a 
atencao de como cada gesto esta mapeado. 

A atual implementacao de cenario de interacao ainda se encontra em fase experimental. Os 
proximos passos do trabalho serao no sentido da implementacao de elementos de modelagem 
fisica entre os dados das analises e os geradores. Por modelagem fisica, entende-se a simulacao 
de forca, gravidade e massa. O objetivo seria o de aumentar a cinestesia experimentada pelo 
instrumentista durante a performance. 

Atualmente fazem parte do cenario de interacao os objetos [sinc-cenario], [sine-pedal], [sine- 
mixer] e [sine-pan]. Sendo [sinc-cenario], o objeto central responsavel por organizar o mapea- 
mento dos parametros. 
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Figura 4.113: teclado USB adaptado como pedal 
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Figura 4.114: [sinc-controle-teclado] 
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draw the in / out relation 



arg 1 : name of the file to save the curve 
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Figura 4.115: Mapeamento feito por relacao desenhada/customizada. 

Os cenarios sao alternados atraves de teclado USB, modificado e usado como um pedal du- 
rante a performance. Como pode ser visto na figura 4.1 13. O teclado e modificado retirando-se 
as teclas que nao sao usadas no desenho escolhido para melhor se adaptar a funcao de pedal. 

Foi desenvolvido tambem uma abstracao para organizar as funcoes do teclado. Pode-se ob- 
servar na figura 4.1 14, a funcao condicional que mapeia a tecla ESC para alternar entre 4 cenas 
acionadas pelas variaveis cenal, cena2, cena3 e cena4, respectivamente. 

O teclado pode servir, alem dos cenarios de interacao, como controlador de sequencias pre- 
definidas, podendo disparar qualquer formato de sequencia como audio, midi ou descricao de 
eventos com arquivos de texto, bem como formatos mistos de sequencias automatizadas com 
parametros definidos pela analise da performance. 



4.6.1 Mapeamento 

Por mapeamento aqui entende-se a traducao de uma escala de valores numericos para outra 
escala. A maneira como se faz essa traducao pode conduzir a resultados diversos. Por exemplo, 
um parametro que varia de a 127 pode ser mapeado para uma escala de -1 a 1 de maneira 



156 



curve_exp 



fpddpT 



This object maps the input range to a exponential curve, 
rhe inverse of a logarithmic curve . 



curve_e 



□: 



pd draw_array| 



curve_exp 




For more info: all_about_curve_mapping 



(C) Copyright 2004 Hans-Christoph Steiner <hans@at . or . at> 
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Figura 4.1 16: Mapeamento por curva exponencial. 

linear de modo que o valor original 64 (centro da escala) seja mapeado para o valor (centro 
da nova escala). 

Os parametros da analise do audio em tempo-real possuem diferentes escalas e ainda, no 
caso da amplitude e timbre, apresentam variacoes de uma performance para outra. A precisao 
e previsibilidade na analise do audio depende de diversos fatores externos como por exemplo a 
constitui§ao do instrumento, da amplifica§ao ou do timbre do instrumentista. 

Qualquer tecnica de mapeamento escolhida deve manter uma flexibilidade de ajuste ade- 
quado a essas variaveis. A biblioteca "mapping" presente no Pd-extended apresenta algumas 
alternativas para diferentes tipos de mapeamento. Podem ser usados mapeamento linear, expo- 
nencial, logaritmico e customizado. Os patchs de ajuda de alguns objetos sao mostrados nas 
figuras 4.115, 4.116, 4.117, 4.118 e 4.119. A manipulacao e experimentacao desses objetos 
permite uma rapida avaliagao de qual o melhor metodo de mapeamento para cada caso. 
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Figura 4.1 17: Mapeamento por curva gradual. 
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Figura 4.1 18: Mapeamento por curva logaritmica. 
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Figura 4.1 19: Mapeamento por curva exponencial customizada. 




Figura 4.120: visao geral de [sinc-cenario] 
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Figura 4.121: fluxograma do mapeamento do patch na figura 4.122 
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Figura 4.122: subpatch [pd cena 1] 
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4.6.2 [sinc-cenario] 

Essa abstracao foi desenvolvida para organizacao e controle de diferentes cenarios interativos. 
Na figura 4.120 podemos observar um exemplo de funcionamento global com 4 parametros de 
analise da performance do musico recebendo dados em tempo-real. 

O objetivo da abstracao e receber esses dados e re-escalar os valores para controle dos 
parametros dos modulos generativos e transformativos do sistema. Na figura 4.122, vemos 
um detalhe do subpatch [pd cena 1] onde o indice de estabilidade ritmica e escalado para os 
valores de a 100, e posteriormente filtrado com o objeto [moses], para entao selecionar um 
dos quatro geradores ritmicos disponiveis. 

E importante observar que nesse caso, na figura 4.121, a relacao entre analise e geracao de 
material musical se da de maneira imitativa. Pois a medida que as duracoes das notas do musico 
se mantem mais estaveis, os geradores ritmicos tendem a ser imitativos. E quanto mais instaveis 
as duracoes os geradores ritmicos alternam randomicamente entre um gerador ritmico baseado 
em movimento browniano e outro totalmente randomico. 

4.6.3 Objetos [sine-mixer] e [sine-pan] 

Na figura 4.123 vemos a composicao interna do objeto [sine-mixer] que tern como objetivo 
implementar um mixer de audio de quatro canais independentes. 

Alem do volume global de cada canal, podemos tambem ter o controle independente de 
espacializacao simples como pode ser visto na composicao interna da abstracao [sine-pan] na 
figura 4.124. 
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Figura 4.123: [sine-mixer] 
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Figura 4.124: [sine-pan] 



Capitulo 5 



Aplica§oes composicionais 



Alguns fatores anteriores propiciaram o pleno desenvolvimento deste trabalho. Durante minha 
graduacao em Violao, participei de um grupo de pesquisa em sintese sonora onde aprendi a pro- 
gramar em Csound que resultou no desenvolvimento de uma serie de pecas acusmaticas. Essa 
experiencia chamou minha atencao para a musica eletroacustica e para a computacao musical. 

Durante o mestrado tive o primeiro contato com o ambiente Max/MSP e realizei uma serie 
de composicoes para instrumentos tradicionais como clarinete, marimba e violao. Ao mesmo 
tempo desenvolvi uma serie de improvisacoes coletivas usando computador, no circuito artistico 
da musica experimental brasileira. 

De certa maneira, a experiencia intensa como instrumentista durante a graduacao sempre 
ricou distante da rotina da computacao musical. Durante esta pesquisa o objetivo musical central 
foi a uniao dessas duas dimensoes do fazer musical. 

Neste capitulo irei descrever brevemente alguns experimentos realizados ao longo da pes- 
quisa e um resultado composicional derivado da implementacao dos modulos de SInCoPA. 
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Figura 5.1: estudo interativo pra flauta e computador (2007) 



5.1 Experimentos 



O desenvolvimento cronologico deste trabalho levou a um primeiro momento de intenso apren- 
dizado dos detalhes e tecnicas de programacao com Pd, preparando materials didaticos, traducoes, 
e uma sequencia de estudos interativos usados em pecas musicals e performances sonoras. Um 
exemplo pode ser visto na figura 5.1, onde um Score-follower controla os parametros de proces- 
samento do som da flauta e harmoniza certos trechos da peca de acordo com as notas da flauta. 
Essa peca se chama "Pure flute" (2007) e foi um bom exercicio de escrita para instrumento 
aciistico e Pd. Ainda que a programacao seja rude e mereca uma re-fatoracao do codigo, musi- 
calmente obteve-se uma fusao de sonoridades interessante do ponto de vista composicional. 

Em 2008 programei um patch grande com varios sintetizadores e controles de sequencias 
estocadas em arrays graficos que se chamou "Ensinando instrumentos virtuais a dialogarem de 
maneira rude". O que se transformou numa performance de laptop solo apresentada algumas 
vezes em varias cidades no Brasil. Nessa performance toda a interacao e feita atraves do mouse 
e do teclado alfanumerico. Foram usados somente geradores de sinal do Pd e nenhum objeto 
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de sampleamento. Procurei explorar um contraste entre gestos de modulates com AM e FM e 
filtragem de ruido branco. 

A comunidade de desenvolvimento do Pd e muito ativa, e explicitamente projetos open- 
source se esforcam para mudar a condicao do interessado no software de usuario a partici- 
pante ativo do projeto e das decisoes coletivas sobre os caminhos que a linguagem deve tomar. 
Esse fator acarretou na participacao na organizacao de 2 eventos com desenvolvedores e forte 
interacao com a comunidade 1 , oficinas de extensao, participacao em producao de projetos cole- 
tivos usando pure data, como mimosalib 2 tambem usada como referenda nos prototipos. 

Outra experiencia de composicao mista foi a peca "Oferenda"(2009) para sax contralto e Pd, 
apresentada na PdCon em Sao Paulo. Nessa peca, a parte do sax e totalmente improvisada e 
o computador funciona como um instrumento com outro musico controlando aspectos de pro- 
cessamento de audio e sincronizando samples de percussao com a performance do sax. Nesse 
mesmo ano, foi desenvolvido um patch para interacao entre duas guitarras, onde a analise de 
pitch controla um jogo do tipo "Pong", implementado em Pd/GEM. 

Uma experiencia que envolveu essa pesquisa tambem foi a peca "Impressoes oniricas" (2010) 
para flauta, violao e computador, escrita para o grupo GNU, onde em alguns trechos, a analise 
do audio disparava amostras de audio e controlava alguns parametros de processamento dos 
samples. Nessa composicao a analise de audio de dois instrumentos acusticos distintos no 
mesmo palco foi um desafio, nesse caso a falta de precisao do sistema foi susbtituida pelo 
controle manual do computador. 

A experiencia mais recente foi a composicao coletiva '7usr/maquina4/compartida " 3 (2012), 
onde puderam ser postos a prova os aplicativos desenvolvidos nessa pesquisa. Essa peca contou 
com quatro musicos controlando instrumentos digitals feitos com Pd, e consistiu de um impro- 
viso que foi sendo construido durante alguns ensaios. O fato de usar guitarra eletrica contribuiu 
para maior precisao dos elementos de analise e segmentacao em tempo-real. Outro elemento 



'ill International Convention of Puredata (PdCon) em Sao Paulo e o I Simposio Internacional de Interatividade 
nos Sistemas Computacionais Livres (wwww.iscl2009.wordpress.com) em Salvador em 2009. 
2 https://github.com/glerm/mimosalib 
3 http://www.youtube.com/user/figocris/videos?view=l 
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Figura 5.2: Experimento 1 - Geradores melodicos e ritmicos 



positivo foi de que as ferramentas apresentadas aqui se mostraram uteis na improvisacao cole- 
tiva. Outros musicos de adaptam bem as respostas musicais de SInCoPA, nos momentos que 
os resultados sao perceptivelmente conectados o resto do grupo visivelmente se sentia mais a 
vontade musicalmente. 

O experimento mostrado na figura 5.2 mostra um dialogo entre um instrumentista com os 
geradores MIDI descritos na pesquisa. Nesse experimento o cenario de interacao e programado 
para imitar o miisico. No sentido de que se a densidade rftmica do instrumentista fica maior, e 
acionado o gerador ritmico com maior densidade e assim por diante. 
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Um video 4 pode ser visto mostrando a imagem da performance instrumental na guitarra 
eletrica e a atividade do programa com o audio gerado. 

5.2 Dialogos em SInCoPA 

Essa peca e um resultado de todas as experimentacoes desenvolvidas ao longo da pesquisa. E 
composta para um instrumento tradicional e computador rodando SInCoPA. A forma e aberta, e 
os materials sao deflnidos em tempo-real pelo instrumentista. A ideia e que durante a execucao 
o instrumentista nao precise usar o mouse e o teclado do computador. Alguns botoes de controle 
sao definidos em um teclado alfanumerico que funciona como pedal como visto na figura 4.1 13. 

A notacao da peca e o proprio patch que define o modo e os comportamentos da interacao. O 
instrumentista e encorajado a criar o seu proprio esquema de notacao da performance ou usar o 
patch de "Dialogos em SINCoPA" para improvisar com outros musicos. 

Cada performance resulta em sonoridades diferentes. Ainda que seja possivel o reconheci- 
mento auditivo de que se trata da mesma peca. O estudo e execucao da peca nao exigem nenhum 
conhecimento especializado de computacao, apenas a disponibilidade de um computador para 
ensaiar. O estudo da peca passa por uma serie de improvisacoes onde o instrumentista aprende 
empiricamente como cada modulo reage de acordo com diferentes gestos instrumentais. 

Na figura 5.3 vemos o patch principal de "Dialogos em SINCoPA", com quatro modulos in- 
terativos embaixo, e um modulo de analise de audio na parte direita superior. Cada modulo 
implementa um algoritmo interativo diferente e o musico pode alternar entre cada um ou sobre- 
por mais de um modulo simultaneamente. O instrumentista liga cada modulo atraves do pedal 
(teclado alfanumerico descrito na figura 4.1 13). 

A analise do audio de entrada e realizado em [audio_midi]. A abstracao [audio_midi] pode 
ser vista na figura 5.4 e consiste de uma combinacao dos modulos de analise de audio [sinc- 



www.cristianofigo.wordpress.com 
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Figura 5.3: Visao geral do patch principal da composicao "Dialogos em SINCoPA" 

audioin] e [sinc-audioanalise]. O resultado da analise de audio e convertido em fluxo MIDI com 
os objetos nativos [makenote] e [noteout]. 

O sub-patch [pd sintese interativa] tem por finalidade criar um sintetizador que tenha seus 
parametros controlados pela analise do audio de entrada. A visao geral desse sub-patch pode 
ser vista na figura 5.5. Cada nota executada pelo instrumentista aciona uma nota simultanea 
no sintetizador. E realizado um calculo da distancia do pitch da ultima nota em relacao a nota 
atual. O resultado desse calculo e reduzido ao valor absoluto com o objeto [abs]. Esse valor por 
sua vez e mapeado com a abstracao [sinc.linear] para duas escalas e enviado para o sintetizador 
com as variaveis [s mod.amp] e [s mod_freq]. A distancia de altura entre cada nota define a 
caracteristica do timbre do sintetizador. 

Na figura 5.6 podemos observar um trecho musical executado e enviado para o sintetizador. 
Na tabela abaixo vemos o resultado da analise de cada altura e o valor correspondente a cada 
parametro mapeado no sintetizador. 
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Figura 5.4: Visao da abstracao [audio _midi] 
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Figura 5.5: Visao do sub-patch [pd sintese interativa] 
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Figura 5.6: Exemplo de trecho executado explorando interacao com [pd sintese interativa] 
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Figura 5.7: Visao do sub-patch [pd algortimos_generativos] 



O sintetizador em questao, mostrado na figura 5.5, usa a tecnica de frequencia modulada 
(FM) para definir o comportamento do timbre. A onda portadora usa um objeto [osc~] e recebe 
a mesma frequencia executada pelo instrumentista. A moduladora tambem usa um objeto [osc~] 
e recebe valor de frequencia atraves da variavel [r modJreq]. A amplitude da moduladora e 
definida pela variavel [r mod_amp]. Na tabela acima podemos visualizar o resultado de cada 
variavel na sucessao de cada altura executada na figura 5.6. Nesse algoritmo o desenho do 
timbre depende do gesto melodico do instrumentista. Esse tipo de relacao entre timbre e perfil 
melodico nao e possivel em instrumentos tradicionais. Quanto mais curta a distancia entre duas 
alturas executadas em sequencia, maior sera o indice de modulacao do sintetizador. 

Na figura 5.7 vemos o sub-patch [pd algoritmos.generativos] da figura 5.3. Na parte esquerda 
vemos um contador [counter] que e reinicializado a cada nota que chega. O resultado e enviado 
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Figura 5.8: Tree ho executado e enviado ao algoritmo da figura 5.7 

para tres objetos [moses] que classificam a atividade geral do instrumentista como ativo, pausa 
ou fim da execucao. Essa classificacao determina o volume geral dos geradores algoritmicos. O 
resultado e um dialogo mais organico onde o volume dos geradores depende dessa classificacao 
de atividade do instrumentista. 

Na parte direita do patch vemos os objetos [sinc-calc_ritmo] e [sinc-permeabilidade]. O 
resultado dessas analises influenciam os comportamentos dos geradores algoritmicos especi- 
ficados em [sinc-gera_ritmico], [sinc-gera_melodico] e [sinc-gera_dinamica]. O resultado de 
[sinc-calc_ritmo] alterna entre instavel e estavel (0 e 1 respectivamente). Quando as duracoes 
de entrada sao classificadas como estaveis, o resultado e enviado para [sinc-gera_ritmico] que 
seleciona o gerador ritmico imitativo (definido com a cor branca). Quando o resultado e clas- 
sificado como instavel e feito um sorteio com o objeto [random] para escolher um entre os 3 
geradores ritmicos restantes (variacao (fig.4.51, ritmo browniano (fig. 4.59 e gerador polifonico 
(fig.4.67). 

O resultado de [sinc-permeabilidade] e uma escala que varia de a 6 (variacoes de im- 
permeavel ate permeavel). Esse resultado passa por um objeto [moses] que controla 4 gerado- 
res melodicos em [sinc-gera_melodico] (imitacao (fig.4.47), probabilidade (fig. 4. 58), browni- 
ano (fig.4.66) e randomico (fig.4.54)). O resultado dos geradores sao enviados como mensagem 
MIDI pelo canal MIDI 2. 

Apesar dos algortimos serem alimentados pelos dados da analise do audio de entrada, a cada 
repeticao do mesmo trecho musical temos um resultado diferente, mantendo um certo grau 
de reconhecimento ritmico e melodico. Para efeito de ilustracao usamos o trecho musical da 
figura 5.8 e repetimos para visualizar o resultado gerado pelo algoritmo. Nas figuras 5.9 e 5.10 
podemos ver o mesmo trecho da figura 5.8 servindo como base para o algoritmo. 
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Figura 5.9: Resultado de interacao com algoritmo descrito na figura 5.7 (pg.l) 

A abstracao [sinc-midilive] pode ser vista internamente na figura 5.11. E uma variacao da 
abstracao [sinc-midiin] (figura 4.40) feita para funcionar em tempo-real. Os dados de entrada 
da abstracao sao convertidos para MIDI e salvos no arquivo tmp.mid. Esse arquivo e aberto 
e executado repetidamente, isso possibilita a construcao de trechos de ostinato de tamanhos 
variaveis. O sub-patch [pd sel midilive] mapeia a mesma tecla do pedal para funcoes diferentes 
dependendo da ordem que seja pressionada. Isso cria uma sequencia logica de acoes: 

1 . Habilita [sinc-midilive] e comeca a gravar; 

2. Para de gravar, salva o arquivo tmp.mid, abre o arquivo tmp.mid e comeca a execucao em 
loop; 



3. Para o loop e desabilita a abstracao [sinc-midilive] 
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Figura 5.10: Resultado de interacao com algoritmo descrito na figura 5.7(pg.2) 



A abstracao [sinc-harmonia] que aparece na figura 5.3 pode ser vista na figura 5.12. E uma 
abstracao que controla dois algoritmos harmonizadores vistos na secao 4.3.8. A cada nota que 
chega da analise de audio, e sorteado um dos dois algoritmos para realizar a harmonizacao. 

Esses quatro modulos interativos permitem uma infinidade de narrativas e carateres musi- 
cals. A pratica e experimentacao instrumental junto com "Dialogo em SInCoPA" permite que 
o instrumentista adquira consciencia e controle expressivo. O fato de ser uma peca de forma 
aberta permite que cada execucao seja unica e capaz de dialogar com diferentes ambientes e 
propositos. 
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Figura 5.11: Visao da abstra§ao [sinc-midilive] 
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Figura 5.12: Visao da abstra§ao [sinc-harmonia] 



Capitulo 6 



Resultados e Conclusao 



Nessa secao serao apresentadas algumas reflexoes acerca do processo de pesquisa e alguns 
resultados alcancados. O objetivo dessa secao e mostrar como o processo avancou e indicar 
pontos fortes e fracos ao longo do desenvolvimento deste trabalho. 

A pesquisa possibilitou a criacao de uma biblioteca de modulos que auxiliam a criacao de 
musica interativa. Esses modulos podem ser combinados com objetos nativos de Pd e conecta- 
dos com outros programas da maneira como tem sido mostrado ao longo do texto. 

Ao longo do desenvolvimento de SInCoPA diversos experimentos foram desenvolvidos, per- 
mitindo a exploracao isolada de aspectos com visto na secao 5.1. Essa experimentacao publica 
e abertura dos resultados parciais do desenvolvimento, permitiram um bom feedback tecnico e 
artistico em relacao a comunidade de artistas e desenvolvedores de musica interativa. 

Dentro da grande area de computacao musical, esta pesquisa engloba elementos de projeto de 
instrumento aumentado, composicao algoritmica e busca e analise de dados musicais. Apesar 
de ser um recorte amplo de conhecimento, acredito ter levantado os principals problemas de 
pesquisa e apontado solucoes que permitem uma compatibilidade para futures desenvolvimen- 
tos. Enquanto ferramenta pessoal de composicao, SInCoPA se mostrou um ambiente ideal para 
a criacao de musica interativa, instalacoes e colaboracao com outros musicos. 
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Todo o codigo apresentado ao longo do texto pode ser acessado pela internet 1 . O codigo 
e distribuido pela licenca GNU/GPL, permitindo que seja acessado, alterado e re-distribuido. 
Alem da disponibilidade do codigo, e possivel acompanhar o desenvolvimento dos algoritmos 
atraves do historico de versoes de desenvolvimento dos objetos projetados na pesquisa. Acre- 
dito que essa metodologia ajude na constru§ao de conhecimento sobre composigao de musica 
interativa e permita o aperfeicoamento das pesquisas na area. 

6.1 Discussao 

A motivacao inicial da pesquisa, foi criar um sistema interativo para uso com instrumentos de 
corda pingada como violao e guitarra. Rapidamente se evidenciou o problema da limitacao da 
analise de audio em tempo-real em relacao ao aspecto polifonico desses instrumentos, como 
visto na secao 1.2.1. 

A versao atual de SInCoPA, compreende interacao com instrumentos monofonicos. Apesar 
de permitir uma rapida adaptacao dos modulos ja desenvolvidos, quando for implementado o 
hardware que permita o mapeamento de cordas separadas como discutido na secao 1.2.1. 

Dentro de um sistema de criagao de musica interativa a analise ocupa uma importancia cen- 
tral. A importancia de uma metodologia de analise deve ser equilibrada com o objetivo na 
constru^ao geral do sistema. No comeco da pesquisa, surgiu o foco no desenvolvimento de 
modulos de analise sub-simbolica baseados em redes neurais. Essa secao experiencia apontou 
alguns caminhos de como trabalhar com redes neurais artificials integrando a um sistema de 
musica interativa com Pd, usando enquanto metodo para classificacao de padroes. 

A figura 6.1 representou o planejamento inicial do projeto onde podemos observar como a 
analise do audio seria separada nos parametros de densidade, duracoes, classes de intervalos, 
variacoes de timbre e registro. Apos uma primeira analise do audio, todas as classificacoes 
seriam realizadas por redes neurais artificials. Cada parametro passaria por uma cadeia de redes 



'Disponivel para download em : www.github.com/cristianofigo/sinc_abs 
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Figura 6.1: Mecanismo de escuta e analise 



179 




As decisoes 
sao aplicadas sobre 
a camada atual que 
esta sendo 
estocada, gerando 
a resposta do 
computador 



Feedback 



Figura 6.2: Mecanismo de funcionamento de um sistema interativo baseado em redes neurais 



locais de tamanhos diferentes que seriam agrupadas em duas redes globais tambem de tamanhos 
diferentes. 

Por um lado, essa ideia original nao apresentava uma clara distincao entre os niveis simbolico 
e sub-simbolico. A ideia era se aproximar de modelos cognitivos, tentando simular situacoes 
de aprendizado musical. Nesse sentido, simular as habilidades de musicos humanos em flui- 
dez de acao, capacidade de resposta a situacoes novas e referencias culturais, transformam a 
capacidade de interacao dos sistemas computacionais numa ardua tarefa. Na pratica o sistema 
funcionaria em duas instancias: num primeiro momento as redes precisam ser treinadas. Nessa 
fase o musico executa uma performance, esse audio e captado, analisado e colocado numa 
base de dados que vai servir como arquivos de treinamento das redes. A segunda fase seria o 
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momento da performance interativa, onde o sistema vai responder ao estimulo do musico com- 
parando a analise de sua performance em tempo-real com esse banco de dados previamente 
estocado. Uma visao geral do sistema esta na figura 6.2 mostrando o fluxo geral dos dados ao 
longo das partes do sistema. Podemos ver que a resposta do sistema ao estimulo do musico 
depende da resposta das redes que procuram por padroes. O resultado das redes distribui pesos 
no mecanismo de decisoes que por sua vez aplicam processos de transformacoes no material 
exposto pelo musico e armazenado no banco de dados. 

Os resultados das analises de audio seriam passados por um sistema de redes neurais artifi- 
cials, construidos com a biblioteca FANN (Nissen ) portada para ser usada como uma external 
de Pd. Foi feito um pequeno experimento da pesquisa onde foi usado o external [ann-mlp] com 
o objetivo de detectar em tempo-real padroes rftmicos pre-estabelecidos na fase de treinamento 
da rede. 

As redes neurais artificials funcionam em dois tempos, o treinamento e a performance. No 
treinamento as redes os pesos e dos padroes de maneira a criar um arquivo de treinamento que 
funciona como um banco de dados . No arquivo de treinamento podemos editar manualmente 
e identificar e rotular os padroes de maneira a refinar a base de dados. Nesse experimento foi 
desenvolvido um subpatch que cria automaticamente o arquivo de treinamento, que determina 
a quantidade de neuronios da rede, numero de padroes a serem estocados e a quantidade de 
elementos de cada padrao. No experimento em questao foi usado um arquivo de audio com um 
timbre percussivo e ataques bem claros. Esse arquivo contem 3 padroes ritmicos apresentados 
3 vezes com andamento diferentes. No resultado observamos que mesmo quando se altera o 
andamento, as redes continuam a detectar os padroes, porque durante a fase de treinamento os 
padroes foram apresentados diversas vezes em andamentos diferentes. 

Outra possibilidade seria o uso de mapas auto-organizaveis (redes de Kohonen), que e um 
tipo de rede neural artificial nao supervisionada, que nao necessita da fase de terinamento, 
podendo ser um modelo para classificacao em tempo-real. Esse experimento mostrou um cami- 
nho para o refinamento de um modelo de classificacao de padrao. Um problema apontado foi 
o de que aplicacoes com redes neurais sao voltadas para a resolucao de problemas especificos. 
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A pratica com redes neurais demonstrou um grande potencial como ferramenta para analise. 
Apontando para o futuro do desenvolvimento dos niveis de analise descritos na secao 1.2. Den- 
tro do recorte dessa pesquisa, a analise tern um espaco importante, entretanto o objetivo final e 
o desenvolvimento de uma ferramenta para a composicao de musica interativa. 

6.2 Conclusao 

Esse trabalho procurou apontar os principals elementos na construcao de uma ferramenta de 
composicao musical especializada em musica interativa. Ao longo do texto foram expostos os 
motivos que levaram a essa pesquisa, no sentido da busca musical e dos problemas tecnicos e 
conceituais ao longo da pesquisa. 

Um caminho adotado na metade do processo apontava para a cria§ao de um sistema de redes 
neurais para cada parametro musical e a concatenacao dos resultados dessas redes em diferentes 
niveis. Em vez disso, foi optado por seguir um caminho de desenvolver ferramentas genericas, 
mais leves computacionalmente, facilmente customizaveis e mais portateis para diferentes pla- 
taformas. 

De certa maneira o projeto inicial era bem mais ambicioso no sentido de que se esperava um 
sistema inteligente e flexivel. Quando na pratica nao existe um sistema de musica computatio- 
nal que seja totalmente generico e integral. O desenvolvimento mais notavel sempre acontece 
no piano das ferramentas especializadas. No presente trabalho procuramos desenvolver uma 
serie de ferramentas especializadas que podem ser empregadas genericamente, independente 
do design compositional, que pode combinar de infinitas formas a organizacao e disposicao 
dessas ferramentas. 

Ainda que a fonte primaria de entrada seja o audio puro, se optou por desenvolver ferra- 
mentas no nivel sub-simbolico de representacao e usar as ferramentas de DSP "standard" das 
bibliotecas externas do Pd. Um desenvolvimento importante e o de analise de sinal polifonico, 
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desenvolvido no Ircam, com otimos resultados, porem ainda com acesso restrito ao codigo ate 
a data desse texto 2 . 

A modularidade das ferramentas desenvolvidas no Pd permitem integracoes mais comple- 
xas como controle de processamento de imagem e adaptacao para outros dispositivos como 
celulares e interacao via internet em tempo-real. A integracao entre aplicativos voltados para 
composicao musical e outros para video e modelagem 3D e um grande ponto positivo de traba- 
lho com Pd, onde a colaboracao artistica interdisciplinar, sai do nivel da inspiracao e e levada 
para o nivel das ferramentas colaborativas, o que tem mostrado grande potencial na expressao 
de novas ideias e conceitos esteticos. 

Ao compositor de musica interativa, muitos caminhos e possibilidades expressivas se abrem 
em meio a um oceano de desafios. Sobre esse aspecto Rowe conclui: 

Dada a confusao de possibilidades, compositores sao perdoados em hesitar ao de- 
cidir qual caminho tomar. A solucao do autor tem sido o desenvolvimento de uma 
biblioteca pessoal de amostragem de audio, sintese e efeitos em C++. Enquanto que 
comecar uma nova funcao nesse projeto passa inevitavelmente pela re-invencao de 
varias rodas, isso facilita a coordenacao com uma camada de controle existente e 
parece ser o metodo mais expressivo de desenvolver novas ideias: um conjunto de 
efeitos personalizados. (Rowe 2009) 3 

Para o futuro da pesquisa, acredito que foram apontadas direcoes para aprofundamento de 
cada um dos modulos de SInCoPA. Nessa tese, a explicacao tecnica das abstracoes e aprofun- 
dada e sua utilizacao apresentada na forma de experimento musical, misturando as tecnicas e 
explorando maneiras musicalmente expressivas de sobrepor ou justapor as tecnicas. Tambem 
foi apontado teoricamente o desenvolvimento da narrativa instrumental e gestual do musico. 
As tecnicas apresentadas ate aqui sao ferramentas genericas para analise, composicao e per- 
formance musical, uma outra etapa futura podera combinar todas essas tecnicas em pecas de 
musica mais longas, onde se possa experimentar diversas narrativas e como as ferramentas se 
comportam em projetos maiores. 



2 http://imtr.ircam.fr/imtr/Antescofo 

3 Given the embarrassment of choices, composers may be forgiven for hesitating over which way to turn. The 
author's solution has been to develop a personal library of audio sampling, synthesis, and effects routines in C++. 
While starting a new with such a project inevitably entails reinventing several wheels, it facilitates coordination 
with an existing control layer and seems the most expressive way to develop new ideas: a set of personal effects. 
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O recorte da pesquisa foi o desenvolvimento de ferramentas para composicao interativa entre 
instrumentos tradicionais e computadores. Nesse sentido apresentamos uma serie de solucoes 
que revelam os problemas especfficos das muitas partes do objeto. Alem disso, o foco do 
objeto de pesquisa na composicao como um todo, garantiu que o resultado tecnico fosse uma 
ferramenta generica, modular e re-utilizavel. Os caminhos indicados neste trabalho, permitiram 
aprofundar alguns conceitos e apontar novos problemas de pesquisa pertinentes a criacao de 
sistemas de musica interativa. 
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Apendice 



A.l Glossario 

Pitch: Termo relativo a altura das notas, em alguns modulos da pesquisa, o valor de pitch 
aparece como um simbolo da nota seguido da oitava respectiva (D4, se referindo a nota re da 
oitava central do piano). Em outros momentos o valor de pitch se refere ao parametro MIDI de 
a 127. Algumas funcoes convertem valores puros de frequencia em pitch. 

MIDI: E a sigla para Musical Instrument Digital Interface e descreve um protocolo padrao da 
industria, definido pela primeira vez em 1982, que permite que instrumentos musicais eletronicos 
(sintetizadores e maquinas geradoras de som), computadores e outros equipamentos eletronicos 
(controladores MIDI, placas de som, samplers) se comuniquem e se sincronizem uns com os 
outros. As principals funcoes MIDI incluem comunicacao de mensagens de eventos sobre a 
notacao musical, variacao de altura, intensidade, sinais de controle para os parametros (tais 
como volume, vibrato, panning, pistas e sinais de clock (para definir o tempo)) entre dois dispo- 
sitivos, a fim de completar uma cadeia de sinal e produzir som audivel a partir de uma fonte de 
som. Como um protocolo eletronico, e notavel pela sua adocao generalizada em toda a industria 
da musica. 
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Envelope: E a definicao de como a amplitude de cada nota se comporta. E um termo comum 
nas especificacoes de sintese sonora e e um aspecto decisivo na construcao e definicao do tim- 
bre. Normalmente se dividem as fases do envelope sonoro em ataque, decaimento, sustentacao 
e finalizacao (ADSR). Por exemplo, o timbre de um tambor tern um ataque curto, nenhuma 
sustentacao e uma rapida finalizacao. 

Pure data (Pd): E uma linguagem de programacao visual desenvolvida por Miller Puckette 
na decada de 1990 para criar musica computacional interativa e obras multimidia. Enquanto que 
Puckette e o autor principal do programa, o Pd e um projeto open source que conta com uma 
base de desenvolvedores trabalhando em novas extensoes e funcionalidades. Ele e liberado sob 
uma licenca similar a licenca BSD. Ele roda em GNU/Linux, Mac OSX, iOS, Android e Win- 
dows. Versoes mais antigas ainda existem para FreeBSD e IRIX. Existem diversas distribuicoes 
ou "forks" de Pd, como Pd Vanilla, Pd-extended, DesireData e libpd. A principal caracteristica 
do Pd e a semelhanca da aparencia do codigo com a representacao formal do algoritmo imple- 
mentado. 

Objetos: Sao funcoes pre-compiladas que providem uma variedade de funcoes. Os objetos 
no Pd sao escritos em C e possuem uma maneira propria de especificar as entradas e saidas de 
dados para que o objeto funcione em tempo-real conectado graficamente a outros objetos. Ao 
longo do texto foi usado uma notacao como por exemplo: [objeto-teste] para representar um 
objeto. 

Mensagens: Sao sequencias de valores, listas ou simbolos. Uma mensagem pode ser usada 
para guardar dados e funciona tambem como um botao grafico, podendo ser acionada com um 
clique de mouse. 

Caixas de numero: Normalmente sao usadas para teste, manipulacao e/ou visualizacao dos 
dados em tempo real. Graficamente sao usadas como botoes de valor dinamico. 

Simbolos: Simbolo do tipo string. 

Comentarios: Ferramenta de documentacao local dos patchs. 



191 



metro 



V 



V 



Properties 



~0 



"% 



O metro-help. pd - /usr/libi'pd-extendr 



Hilt 



^It 



I iiiil Windows Media 



n*iro — *tnd "bing" pwlodloilly ill mttranamt. 



Figura A.l: exemplo de acesso ao manual do objeto metro 

Objetos graficos: Alguns sao titeis como sliders (objetos [vsl] ou [hsl]) e botoes diversos 
como toogle (objeto [tgl]). 

Arrays: Tabelas de uma dimensao que podem ser utilizados por qualquer objeto que inter- 
prete formatos diversos, desde arquivos de audio .wav ate arquivos de texto puro. 

Patchs: Sao programas escritos em Pd. 

Sub-patchs: E um objeto que guarda uma porcao de codigo encapsulado, funciona de forma 
local, ou seja, restrito ao patch principal. 

Abstra^oes: E um patch que funciona como um objeto normal, porem escrito em Pd e pode 
agir de maneira global. Como e salvo separadamente pode ser carregado quantas vezes for 
preciso em diversos patchs. Formalmente na linguagem, uma abstracao tambem e considerada 
um objeto. 

int, float: Sao especificacoes do Pd para designar numeros inteiros e numeros decimals. 

Biblioteca e um conjunto de objetos para determinada funcao. O desenvolvimento central do 
Pd e nos objetos de matematica e processamento de sinal de audio. Enquanto que a comunidade 
implementou diversas bibliotecas para processamento de video e sensores de controle. 
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Manual do objeto: Se trata de um patch que exemplifica o uso de determinado objeto. O 
proprio editor grafico do Pd entende que um patch que tenha o nome do objeto acrescido de 
"-help" e referenciado no menu disponivel com o clique direito do mouse. Na figura A.l vemos 
que o objeto metro tem o manual referenciando o patch metro-help.pd acessando um menu com 
o botao direito em cima do objeto em questao. 

Sample: E uma amostra de audio, que tem suas propriedades dependentes da taxa de amos- 
tragem e resolucao de bits do sistema. 

Mixer: E a designacao de um controlador de volume ou intensidade de canais separados e 
independentes. 

Loop: Repeticao literal ou alterada de trechos de samples pre-gravados ou gravados no mo- 
menta da performance. 

A.2 Tecnicas de programacao em Pd 

O Pd e uma linguagem de programacao completa, porem alguns aspectos triviais de linguagens 
de programacao textuais se tornam relativamente complexos e vice-versa. Dentro do escopo 
dessa pesquisa e fundamental o estabelecimento de uma metodologia de implementacao de 
alguns idiomas comuns a todas linguagens de programacao. 

Dentro de uma mesma linguagem, podemos encontrar diversas maneiras de realizar o mesmo 
procedimento. Nesta secao do apendice serao apresentados algumas decisoes de programacao 
que ao longo da pesquisa se tornaram padroes dentro do projeto de cada objeto de SInCoPA. 

A.2.1 Escrita em arrays 

Na figura A.2 vemos as duas principals funcoes dos arrays no Pd, como escrita de numeros "flo- 
ats" ou "ints". E como tabela de escrita de audio, podendo ser usado com o objeto [tabwrite-] 
e tambem com o objeto [soundfiler] no caso de abrir um arquivo de audio previamente gravado 
em disco. 
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Figura A. 2: exemplo de escrita de audio e niimeros em arrays 



A.2.2 variaveis locais vs variaveis globais 



No projeto de um sistema de musica interativa, lidamos com um volume grande de variaveis 
locais, que precisam ser estocadas e enviadas de um objeto a outros. 

Objetos recebem variaveis de mensagens e outros objetos atraves de conexao grafica. Outra 
possibilidade de compartilhar dados de parametros entre diversos objetos e enviar os dados 
atraves de variaveis como pode ser visto na figura A. 3, com a variavel pitch acessada com os 
objetos [send] e [receive]. 

No Pd e determinado o uso diferenciado entre variaveis globais e locais. Na figura A.4 vemos 
um objeto de Sincopa enviando um valor de variavel local ($0) para leitura externa por outros 
objetos. 
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Figura A. 3: conectando saidas de objetos com cabos e com [send] e [receive] 
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Figura A.4: [sinc-gera-melodico] enviando nome de variavel local para ser lida por outros ob- 
jetos 
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A.2.3 Objetos graficos - GUI's 

Durante a prototipacao de SInCoPA, foram pensados alguns objetos com interface grafica bem 
definida e outros sem. O sistema como um todo nao possui uma interface unica, mas sim um 
conjunto de abstracoes especializadas. Essa metodologia de uma interface grafica descentrali- 
zada facilita o continuo desenvolvimento da ferramenta e possibilita o uso de partes do sistema 
em outros projetos. 

A interface grafica de cada objeto do sistema foi pensada para cumprir preceitos de legibi- 
lidade mais intuitiva possivel. O objetivo e que durante uma sessao de composicao interativa, 
o miisico nao necessite acessar o conteudo interno das abstracoes e que todos controles ne- 
cessarios sejam acessiveis via interface grafica. 

Os objetos de analise apresentam interface informativa, ou seja, mostram graficamente em 
tempo-real, o resultado da analise. Isso facilita a prototipacao e controle do fluxo como podemos 
ver na figura A. As interfaces graficas em SInCoPA sao feitas com arranjos e sobreposicoes dos 
objetos canvas [cnv] . Apesar de simples, o objeto [cnv] possibilita uma infinidade de alternativas 
de desenho como podemos ver na descricao dos objetos de SInCoPA. 

A implementacao grafica do Pd e feita com a linguagem Tk. O arquivo que descreve a 
interface grafica do Pd e o "pd.tk", que numa instalacao padrao do Pd-extended fica no diretorio 
/pd-extended/bin/pd.tk . Nesse arquivo sao definidos os comportamentos graficos da interface 
do Pd como a relacao dos movimentos do mouse, atalhos de teclado e as aparencias dos objetos, 
arrays, canvas e todos objetos graficos nativos. A implementacao grafica do Pd e sua relacao 
com os ciclos de processamento de audio e a principal causa de "bugs" e incompatibilidade 
entre plataformas. 

Os desenvolvimentos mais recentes do Pd caminham no sentido da separacao completa da 
descricao grafica da linguagem do processamento de audio. Isso possibilitara a implementacao 
do Pd em qualquer ambiente grafico (como por exemplo GTK). Nesse sentido a nova versao 
"0.43" possui um alto nivel de customizacao grafica. Ao inves da comunidade de desenvolve- 
dores optarem por "esconder" o problema da implementacao da parte grafica, o "problema" e 
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Figura A. 5: objeto [scale. linear] da biblioteca PDMTL usando o objeto [expr] 

compartilhado com os artistas e usuarios para aprimoramento. A definicao de um padrao de 
implementacao grafica do Pd enquanto linguagem ainda nao e consenso. 



A.2.4 Expressoes condicionais 

Cada operacao matematica em Pd e descrita com um objeto separado. O objeto [expr] possibi- 
lita que varias operacoes matematicas sejam descritas dentro dos argumentos de um unico ob- 
jeto. E possivel fazer uma descricao de expressao condicional dentro dos argumentos de [expr]. 
Podemos ver um exemplo na figura A.5, onde vemos a abstracao [scale. linear] da biblioteca 
PDMTL. Nessa abstracao o objetivo e o mapeamento linear entre dois registros pre-definidos. 
Uma implementacao da mesma expressao apenas com objetos nativos de Pd e vista na figura 
A.6. 

Ambas implementagoes possuem um bom grau de legibilidade e entendimento visual, alem 
de nao demonstrarem grandes diferencas em termos de rapidez de processamento. Porem a 
expressao com [expr] e muito mais familiar para quern aprendeu a programar em linguagens 
do tipo C. A familia de objetos [expr] e disponibilizada com a licenca GNU/GPL, compativel 
com a licenca do Pd-extended, enquanto que o niicleo do Pd e disponibilizado com a licenca 
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Figura A. 6: Objeto [sinc-escala-linear] usando apenas objetos nativos do Pd 

BSD "Standard", o que causa uma certa falta de sincronia na licenca global de projetos com 
Pd-extended. Uma expressao matematica ainda poderia ser implementada como um external 
independente escrito em C (m Zmolnig ). 

A.2.5 Mensagens de controle e fluxo de audio 



O fluxo de dados ao se trabalhar com parametros de controle normalmente e menor do que o 
fluxo em operacoes que processam audio. Em um programa que processe audio, muitas vezes 
ocorrem quebras de sincronia entre o processamento de audio e a frequencia de controles de 
parametros. 

Message operations are executed at the beginning of each pass of audio block pro- 
cessing, so a patch where audio depends on message operations which don't com- 
plete in time will also fail to produce correct output. (Farnell 2010) 

Essa problematica e presente em todos ambientes de programacao para sintese sonora. A 
programacao em Csound, por exemplo, preve que o usuario escolha a frequencia de diferen- 
tes tempos de compilacao inicializados por "a", "k", , "ga" ou "gk" (valores que variam no 
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tempo). E os parametros estaticos de inicializacao de valores sao precedidos de "i" e "gi". No 
cabecalho do arquivo de Csound o usuario define as frequencias de compilacao de controle e 
audio com as constantes ksmps e sr respectivamente. De maneira que se temos uma frequencia 
de amostragem de audio (sr) definida em 44100 e uma constante ksmps =10, teremos uma 
frequencia de controle de 4410 ciclos de controle por segundo, e cada ciclo tera uma duracao 
de 1/4410 = 0.000227 segundos. Em cada ciclo de controle, todos valores que variam no tempo 
sao atualizados. 

Em alguns casos e necessario usar variaveis inicializadas com "a" ao inves de "k". Algumas 
vezes se e usado uma variavel "k" para um envelope que se move muito rapido, o resultado 
podera ser um tanto ruidoso (instrumento 1 abaixo). Se for usada uma variavel "a", o resul- 
tado sera muito mais limpo (instrumento 2). No exemplo abaixo e explorada a diferenca entre 
envelope com variavel "a" e "k" aplicados ao mesmo instrumento. 

<CsoundSynthesizer> 

<CsOptions> 

-o dac 

</CsOptions> 

<CsInstruments> 

sr = 44100 

ksmps = 10 ; aumentar ou diminuir esse valor para comparar as diferencas de processamei 

nchnls = 2 

Odbfs = 1 

instr 1 /envelope em k-time 

aSine oscils .5, 800, 

kEnv transeg 0, .1, 5, 1, .1, -5, 

aOut = aSine * kEnv 

outs aOut, aOut 
endin 

instr 2 /envelope em a-time 

aSine oscils .5, 800, 

aEnv transeg 0, .1, 5, 1, .1, -5, 

aOut = aSine * aEnv 

outs aOut, aOut 
endin 

</CsInstruments> 

<CsScore> 

r 5 /repetir a linha seguinte 5 vezes 

i 1 1 

s / fim da segao 

r 5 

i 2 1 
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Figura A.7: Diferen§a entre cabos de objetos de controle e objetos de audio 
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Figura A. 8: Sintetizador usando slider vertical ([vsl]) controlando amplitude de audio 



</CsScore> 
</CsoundSynthesizer> 



No Pd, existe o problema da intera§ao entre a interface grafica e o processamento de audio. 
Todos objetos que processam audio tem o sufixo -no nome. Graficamente o usuario visualiza 
a diferenca entre audio ou dados atraves dos cabos de liga§ao entre objetos. Podemos ver na 
figura A.7 uma caixa de numero (dados) se conectando ao objeto [osc~] (audio),podemos notar 
a diferenga de grossura dos cabos de conexao. 
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Figura A.9: Sintetizador usando objeto [switch-] para ligar/desligar processamento 



O Pd funciona sob o paradigma do uso em tempo-real, portanto quando o processamento de 
audio global e acionado, todos objetos de audio comecam a usar memoria de processamento. 
Esse processamento em lote pode gerar lentidao e ruidos indesejados. O processamento de 
audio pode ser diferente para cada patch e sub-patch com o uso dos objetos [block-] e [switch-]. 
Alem disso, da mesma maneira que no Csound, os envelopes de audio preferencialmente devem 
ser controlados por objetos que processam audio como [line-] e [vline-]. E muito comum 
ruidos e cliques indesejados quando se controla parametros de audio diretamente com sliders 
graficos como visto na figura A.8, onde um slider controla a amplitude do audio final, quando 
se move o slider com o mouse notamos pequenas descontinuidades no audio. 

Na figura A.9 vemos um sintetizador de SinCoPA que usa o objeto [switch-] para ligar e 
desligar o processamento de audio local ao patch. Pode-se observar tambem que o envelope de 



201 




Figura A. 10: Patch que explora amplificacao e limita§ao de amplitude de audio 

amplitude global e feito com objeto [vline-], que tambem define o tempo em milisegundos de 
delay no objeto [vd~]. 

A.2.6 Amplificacao de audio 



E comum em projetos de cria§ao musical que envolvam diversos geradores a necessidade de 
um controle automatico da amplitude final do audio. Um objetivo desejado e o de criagao de 
uma textura sonora densa, composta por sintetizadores e processadores de audio gravado em 
tempo-real. Para o controle do sinal de audio foram pesquisadas algumas implementagoes de 
um limiter de audio. 

A fungao do limiter e evitar que o audio final fique clipado, o que causa distor§ao no som re- 
sultante. Na figura A. 10 podemos ver um patch que mostra a compara§ao entre quatro metodos 
de amplificacao e limiter em Pd. O sinal original pode ser visto no array "array" e o mesmo 
sinal somado por ele mesmo sem limiter no "array 1" . No "array2" vemos o resultado de uma 
multiplica§ao com fator controlada por um slider. O primeiro limiter e a abstra§ao [mono- 
limiter] da biblioteca DIY que mostra o resultado no "array3", onde vemos claramente um forte 
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Figura A.ll: Sub-patch [pd autocompressor] 



atraso na forma de onda. Outro limiter esta na abstracao [fx.limiter-] da biblioteca PDMTL, 
que apresenta uma latencia menor no "array4". 

A abstracao [fx.limiter-] e baseada no objeto [limiter-] da biblioteca Zexy. Que retorna 
o audio de n canais amplificado pelo fator necessario para deixar todos canais dentro de um 
limite de amplitude que preserve o balanco e a relacao entre eles. E necessario criar uma 
linha de atraso (delay) do sinal original, antes de chegar no [limiter-], para prevenir cliques de 
sincronia. Porque o algoritmo precisa de tempo para criar um buffer onde sera feita a operacao 
de limite. Por fim um prototipo de um auto-regulador de limite de amplitude e mostrado no 
sub-patch [pd autocompressor] na figura A. 1 1 . 
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A.3 Visualiza^ao de Notacao musical 

Dentro do escopo da pesquisa, foram definidas duas funcoes para visualizacao de notacao mu- 
sical: 

• Um componente que gere um arquivo grafico que registre o funcionamento do sistema 
atraves de notacao musical para posterior analise, recombinacao e performance. 

• Visualizacao em tempo-real das ultimas notas executadas pelo musico e pelo sistema. 

Nesse sentido sao levantadas algumas solucoes experimentais que auxiliam a pesquisa e a 
pratica musical com o sistema. 

Pd e Lilypond via Rosegarden 

Na figura 4.39 vemos uma possibilidade que conecta o resultado da composiao algoritmica com 
o sequenciador Rosegarden. O resultado da analise de audio de [sinc-audionalise] e convertido 
em fluxo MIDI com o objeto [makenote]. No canto direito superior da figura vemos a conexao 
grafica do Pd com o Rosegarden feito com o programa Jack. 

A conexao do Pd com o Rosegarden pode ser feita em tempo-real com Jack, ou salvando 
um arquivo MIDI com Pd e abrindo manualmente no Rosegarden. Uma limitacao desse mo- 
delo esta no fato de nao ter sido implementada uma sincronizacao automatica do controle do 
sequenciador no Rosegarden com o algoritmo feito no Pd. Isso acarreta que o resultado final da 
partitura exige mais edicao manual usando quantizacao e correcoes ritmicas manuais. 

Na figura A. 12 vemos um exemplo do trabalho manual durante a edicao de partitura no 
Rosegarden. Podemos notar que a interface de piano-roll permite uma edicao precisa, alem de 
fornecer algumas configuracoes de quantizacao automatica. 
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Figura A. 12: edicao no rosegarden de sequencia enviada do pd 



A.3.1 Pd e Lilypond via FOMUS 



FOMUS l e um programa open source que automatiza diversas tarefas de notacao musical para 
compositores. Facilita o processo de criacao de partituras profissionais por permitir que o com- 
positor trabalhe separadamente os atributos logicos, tais como os tempos, duracoes e alturas, da 
representacao deles em notacao musical convencional. 

E especialmente util para os compositores que trabalham com algoritmos e linguagens de 
programacao para musica ou ambientes de programacao, tais como CM / Grace, Pd e Lisp. 
Tambem pode ser usado para importar dados de arquivos MIDI em um editor de notacao grafica 
ou a criacao de partituras a partir do zero usando arquivos de texto. 



'Disponivel em: http://fomus.sourceforge.net/ 
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Figura A. 13: Resultado de FOMUS em Lilypond 



Em FOMUS, a entrada de eventos musicais esta reduzida a um pequeno conjunto de atribu- 
tos basicos: tempo, duracao, altura, uma lista de marcas e um nivel de dinamica opcional. As 
medidas sao tambem concebidas como recipientes com deslocamentos de tempo e duracoes. 
Com a mudanca de algumas configuracoes, uma pontuacao inteiro pode ser reescrita com dife- 
rentes valores rftmicos (por exemplo, em vez de colcheias seminimas), ou com uma divisao de 
compasso diferente (por exemplo, 5/8, em vez de 4/4). 

FOMUS transcreve os comandos acima para a sintaxe do Lilypond. O resultado do codigo 
abaixo pode ser visto na figura A. 13. 

time dur 1 pitch 60 ; 
time 1 dur 0.5 pitch 62 ; 

time 2 dur 1 pitch 64 

time 3 dur 1 pitch 65 

time 4 dur 1 pitch 67 

time 5 dur 1 pitch 65 

time 6 dur 1 pitch 64 

time 7 dur 1 pitch 62 

time 8 dur 1 pitch 60 



Um external de Pd foi desenvolvido para facilitar a visualiza§ao de procedimentos algorit- 
micos em notacao musical. Podemos ver um patch de exemplo na figura A. 14, onde o objeto 
[fomus] recebe os parametros atraves de varias entradas. A funcionalidade depende da ordem 
em que cada parametro e enviado para o objeto [fomus]. Na figura A. 15 vemos o subpatch 
[pd arrays] onde temos dois arrays para escrever, ler e armazenar os dados relativos a duracao 
e pitch. Uma visao geral do ambiente de trabalho com Pd, FOMUS e um editor de Lilypond 
(no caso dessa figura esta sendo usado o editor Frescobaldi 2 ) pode ser visto na figura A. 16. 
Considero esse ambiente de trabalho ideal para composi^ao de musica algoritmica escrita para 
instrumentos tradicionais, onde o compositor pode interferir no algoritmo em tempo-real. 



-Dispom'vel em : http://frescobaldi.org/ 
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Figura A. 14: Patch mostrando funcionalidade basica do objeto [fomus] 



A.3.2 Notacao musical com GEM 



Para a funcao de visualizacao de notacao musical em tempo-real foi desenvolvido um prototipo, 
com a plataforma GEM. A principal vantagem de usar GEM como motor de notacao musical 
e a possibilidade de integrar elementos como video e modelagem 3D em uma possivel poetica 
audiovisual integrada. 

Como maneira de otimizar o processamento de audio e graficos simultaneos, foram desen- 
volvidas duas abstracoes para facilitar o processo de abrir duas instancias do Pd no sistema. 
Uma instancia dedicada ao processamento de audio e a outra para o processamento grafico. Na 
figura A. 17 vemos a abstracao [sinc-mandanotacao], responsavel por enviar duas variaveis para 
serem plotadas na pauta. Essa abstracao deve funcionar na instancia que estiver processando o 
audio. 
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Figura A. 15: Sub-patch [pd arrays] do patch da figura A. 14 

A outra instancia do Pd vai rodar a abstra§ao [sinc-recebenotacao], e deve ser iniciada de 
maneira a garantir que nao processe audio. Para isso, deve ser usada a opcao -noaudio". Como 
por exemplo: 

livre@livre : ~ /sincopa/sinc-abs\$ pdextended -noaudio sinc-recebenotacao .pd 



A conexao entre as duas instancias e feita com os objetos [netsend] e [netreceive], utilizando 
o protocolo UDP Na figura A. 17 vemos a mensagem "connect localhost 3001", que manda o 
objeto [netsend] se conectar ao seu proprio endereco de rede (localhost 3 ). 

Podemos observar na figura A. 18 que os dados recebidos sao descompactados e roteados para 
o objeto [sinc-notacao] que e o niicleo do funcionamento da visualizacao grafica de notacao 
musical. Na figura A. 19 temos uma visao geral da abstracao. Na qual vemos seis subpatchs 



3 Caso se deseje usar outro computador para processar a parte grafica da notafao musical, se deve substituir essa 
variavel pelo enderefo ip da maquina remota. 
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Figura A. 16: ambiente de trabalho com Pd, FOMUS e editor de Lilypond (Frescobaldi) 
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Figura A. 17: [sinc-mandanotacao] 
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FiguraA.18: [sinc-recebenotacao] 



notas de entrada 



$00 sinc-notacao.pd - /home/livre/sincopa/sinc abs 



Edit Put Find Windows Media 



Help 




sinc-notagao 



sel 



create, _1 ( 



), destroy 
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inlet saida 



■ m 



pd notas entrada pd notas saida 



pauta superior | + pd clave superior + pd txt superior 



pauta inferior + pd clave inferior + pd txt inferior 



FiguraA.19: [sinc-notacao] 
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Figura A. 20: subpatch correspondente a uma nota 

na parte inferior, onde ficam armazenados elementos estaticos, pentagramas, claves e texto das 
notas de entrada do musico e das notas geradas pelo sistema. 

Cada elemento grafico nesse prototipo corresponde a um subpatch, responsavel por inicializar 
o elemento e controlar sua posicao espacial. Na figura A. 20, vemos um subpatch de uma nota. 
O elemento principal desse subpatch e o objeto [text3d], que pode carregar fontes TrueType. 
Nesse caso foi usado a fonte PGMusic F, gratuita e disponivel em diversos sites na internet. 
Podemos observar na figura A. 21 que o modelo da seminima corresponde ao simbolo "q". A 
posicao espacial e controlada pelo objeto [translateXYZ]. A escolha da nota corresponde a 
posicao vertical e pode ser vista a escala fixa de posicoes estocadas em uma mensagem para 
cada altura. Como se trata de um sistema dinamico as posicoes horizontals de cada nota sao 
moveis e definidas em uma animacao pre-definida na figura A.22. 
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Figura A. 21: subpatch [pd escolhe nota] da figura A.20 

O projeto Gemnotes 4 (Kelly 2011) e pioneiro no uso de Pd e Gem como motores de um 
sistema de notacao musical. Gemnotes e projetado para ser um sistema de notacao musical em 
tempo-real para musicos executarem partes instrumentais ou como registro de algoritmos ou 
ainda como auxiliar em educacao musical. 



O sistema utiliza programacao dinamica em Pd - efetivamente um patch de Pd 
que constroi outro patch (a notacao grafica) usando abstracoes pre-fabricadas (pat- 
ches de Pd salvos na mesma pasta que o patch raiz) que contem os comandos para 
criar uma representacao grafica de notacao musical. Para um sistema tao complexo 
(notacao musical) foi necessario criar um objeto na linguagem de programacao C 
que manipule o niimero de objetos, os objetos que estao ligados a que, e como os 
elementos especificos da musica (como ligaduras e quialteras) sao exibidas. Este 
objeto (o objeto [gemnotes-counter]) consiste em mais de 800 linhas de codigo 

4 fonte: (http://sharktracks.co.uk/site/2010/12/gemnotes-progress/) escrito em 16/12/2010. 
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Figura A.22: subpatch [pd animax] da figura A. 20 
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Figura A.23: resultado grafico de gemnotes 
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Figura A.24: exemplo de uso de gemnotes 

e levou 6 meses para escrever, mas nao ha muito mais a acrescentar (dinamica, 
articulacao). (Kelly 2011) 5 

Podemos ver o uso do objeto [gemnotes-counter] na figura A. 23 e no arquivo "help"na figura 
A.24. Considero que o objetivo ideal em termos de ambiente de notacao musical para musica 
interativa e uma combinacao de GEM para visualizacao em tempo-real, conectado com escrita 
e leitura de arquivos Lilypond. Nessa secao foram apresentadas algumas solugoes que apontam 
para esse objetivo. 



5 The system uses dynamic patching in PD - effectively a PD patch that builds another PD patch (the graphi- 
cal score) using pre-made abstractions (PD patches saved in the same folder as the root patch) that contain the 
commands to create a graphical representation of music. For such a complex system (music notation) it has been 
necessary to create an object in the C programming language that manages the number of objects, which objects 
are linked to which, and how music-specific elements (such as ties and tuples) are displayed. This object (the 
gemnotes-counter object) consists of over 800 lines of code and took 6 months to write, but there is much, much 
more to add to it (dynamics, articulation). 



